Аналіз часових рядів з багатьма нульовими значеннями

Ця проблема насправді стосується виявлення пожежі, але вона є аналогічною деяким проблемам виявлення радіоактивного розпаду. Явища, що спостерігаються, є як спорадичними, так і дуже мінливими; таким чином, часовий ряд буде складатися з довгих рядків нулів, перерваних змінними значеннями.

Мета - це не просто фіксація подій (перерви в нулі), а кількісна характеристика самих подій. Однак датчики обмежені, і, таким чином, іноді буде записувати нуль, навіть якщо "реальність" не дорівнює нулю. З цієї причини при порівнянні датчиків повинні бути включені нулі.

Датчик B може бути більш чутливим, ніж датчик A, і я хотів би мати можливість це статистично описати. Для цього аналізу у мене немає «правди», але у мене є датчик C, який не залежить від датчиків A&B. Таким чином, я сподіваюся, що краща згода між A / B і C означає кращу згоду з "правдою". (Це може здатися хитким, але вам доведеться мені довіряти. Я тут твердий, виходячи з того, що відомо з інших досліджень про датчики).

Отже, проблема полягає в тому, щоб кількісно оцінити "кращу погодження часових рядів". Кореляція - це очевидний вибір, але на неї впливатимуть усі ті нулі (які не можна оминути), і, звичайно, непропорційно впливають максимальні значення. RMSE також може бути обчислена, але вона буде сильно зважена до поведінки датчиків у випадку майже нуля.

Q1: Який найкращий спосіб застосувати логарифмічне масштабування до ненульових значень, які потім будуть об'єднані з нулями в аналізі часових рядів?

Q2: Які «найкращі практики» ви можете порекомендувати для аналізу часових рядів такого типу, коли поведінка при ненульових значеннях є фокусом, але нульові значення домінують і їх неможливо виключити?

Щоб повторно поставити запитання "Як аналітик справляється з довгими періодами без попиту, які не відповідають певній схемі?"

Відповідь на ваше запитання - переривчастий аналіз попиту або розріджений аналіз даних. Це виникає зазвичай, коли у вас "багато нулів" щодо кількості ненулів. Проблема полягає в тому, що є дві випадкові змінні; час між подіями та очікуваний розмір події. Як ви сказали, автокореляція (acf) повного набору показань є безглуздою через послідовність нулів, помилково посилюючи acf. Ви можете переслідувати такі теми, як "метод Кростона", який є модельованою процедурою, а не процедурою, заснованою на даних. Метод Кростона є вразливим для людей, що переживають, та змін / тенденцій / змін рівня швидкості попиту, тобто попиту, поділеного на кількість періоди з моменту останнього попиту. Набагато жорсткішим підходом може бути пошук «Розріджених даних - нерівномірно розташовані дані» або такі пошуки. Професор Рамеш Шарда з OSU запропонував мені досить геніальне рішення, і я вже декілька років використовую його в своїй консультаційній практиці. Якщо серія має часові моменти, коли виникають продажі, і тривалі періоди часу, коли не виникає продажів, можна перетворити продажі на продажі за період, діливши спостережувані продажі на кількість періодів без продажу, отримуючи таким чином ставку. Тоді можна ідентифікувати модель між курсом та інтервалом між продажами, що закінчується прогнозованою ставкою та прогнозованим інтервалом. Ви можете дізнатися більше про це на autobox.com та google "переривчастий попит" Якщо серія має часові моменти, коли виникають продажі, і тривалі періоди часу, коли не виникає продажів, можна перетворити продажі на продажі за період, діливши спостережувані продажі на кількість періодів без продажу, отримуючи таким чином ставку. Тоді можна ідентифікувати модель між курсом та інтервалом між продажами, що закінчується прогнозованою ставкою та прогнозованим інтервалом. Ви можете дізнатися більше про це на autobox.com та google "переривчастий попит" Якщо серія має часові моменти, коли виникають продажі, і тривалі періоди часу, коли не виникає продажів, можна перетворити продажі на продажі за період, діливши спостережувані продажі на кількість періодів без продажу, отримуючи таким чином ставку. Тоді можна ідентифікувати модель між курсом та інтервалом між продажами, що закінчується прогнозованою ставкою та прогнозованим інтервалом. Ви можете дізнатися більше про це на autobox.com та google "переривчастий попит"