Виявлення часових рядів та аномалії

Я хотів би налаштувати алгоритм виявлення аномалії у часових рядах, і я планую використовувати для цього кластеризацію.

Чому я повинен використовувати матрицю відстані для кластеризації, а не необроблені дані часових рядів ?,
Для виявлення аномалії я буду використовувати кластеризацію на основі щільності, алгоритм як DBscan, щоб це працювало в цьому випадку? Чи є онлайн-версія для потокового передавання даних?
Я хотів би виявити аномалію ще до того, як це станеться, тож, чи використання алгоритму виявлення трендів (ARIMA) буде хорошим вибором?

time-series clustering trend

Це правильно написано DBSCAN. Це абревіатура. Я не впевнений, що ти намагаєшся зробити. Виявити аномалії в часовому ряді або загальному аномальному часовому ряду.

— Має QUIT - Anonymous-Mousse

Так DBSCAN, екстет! Що я намагаюся зробити, це аномалія виявлення в Інтернеті в наборі даних часових рядів! так! будь-який запит? спасибі з повагою

— napsterockoeur

Як в Інтернеті, як у зростаючих часових виданнях, чи як у додаткових серіях? Знову ж таки, це дуже різні, і вам потрібно чітко зрозуміти, про що ви маєте на увазі.

— Має QUIT - Anonymous-Mousse

Я маю на увазі в Інтернеті (потік), що збільшує серію часів, що надходять від датчика .. щогодини

— отримується

Відповіді:

Що стосується вашого першого запитання, я рекомендую вам прочитати цю відому статтю (Кластеризація наслідків часових рядів є безглуздою), перш ніж робити кластеризацію за тимчасовим рядом. Це чітко написано та ілюструє багато підводних каменів, яких ви хочете уникнути.

— gui11aume
джерело

Виявлення аномалії або "Виявлення втручання" підтримували GCTiao та інші. Заняття наукою - це пошук повторних шаблонів. Виявити аномалії - це визначити значення, які не відповідають повторним зразкам. Ми дізнаємось від Ньютона: «Хто знає шляхи Природи, легше помітить її відхилення, а з іншого боку, хто знає її відхилення, більш точно опише її шляхи». Кожен вивчає правила, спостерігаючи, коли діючі правила не відповідають. Розглянемо часовий ряд 1,9,1,9,1,9,5,9. Для виявлення аномалії потрібно мати схему. "5" - це стільки ж аномалії, як і "14". Для виявлення шаблону просто використовуйте ARIMA, і в цьому випадку "аномалія" стає очевидною. Спробуйте інше програмне забезпечення / підходи та подивіться, який із них пропонує модель ARIMA порядку 1, 0 з коефіцієнтом -1,0. Використовуйте процедури google / search, щоб знайти "автоматичну ариму" або "автоматичне виявлення втручання". Вас можуть розчарувати безкоштовні речі, оскільки це може коштувати того, що ви платите за це. Написати це самостійно може бути цікаво, якщо у вас є важкий перебіг тимчасових рядів і пару років тратити. Існують серйозні обмеження методів, що базуються на відстаніhttp://www3.ntu.edu.sg/SCE/pakdd2006/tutorial/chawla_tutorial_pakddslides.pdf

— IrishStat
джерело

Дякую вам, сер IrishStat, я абсолютно гаразд з u, що існують великі обмеження у методах, заснованих на відстані, і я думаю, що інші методи теж, тому я тестую базовий метод щільності, я побачив багато статей, що говорять про розпізнавання аномалій серій разів, як дослідження NASA, університети. Ви тестували це раніше? це програмне забезпечення з відкритим кодом, я намагаюся використовувати його для розробки та інтеграції мого невеликого алгоритму виявлення аномалії виявлення,

— napsterockoeur

о: FYI: я обробляю потокові дані

— napsterockoeur