Сумнівне використання принципів обробки сигналів для виявлення тенденції

Я пропоную спробувати знайти тенденцію в деяких дуже галасливих довгострокових даних. Дані - це, в основному, щотижневі вимірювання чогось, що рухалося приблизно на 5 мм протягом приблизно 8 місяців. Дані складаються з точності 1 мм і дуже шумно регулярно змінюються +/- 1 або 2 мм на тиждень. Ми маємо дані лише до найближчого мм.

Ми плануємо використовувати деякі основні процеси обробки сигналів із швидким перетворенням фур'є, щоб відокремити шум від необроблених даних. Основне припущення полягає в тому, що якщо ми відобразимо наш набір даних і додамо їх до кінця наявного набору даних, ми зможемо створити повну довжину хвилі даних, і тому наші дані з'являться у швидкій трансформації фур'є, і ми можемо, сподіваємось, потім розділити їх. .

З огляду на те, що це звучить для мене трохи сумнівно, чи варто цей метод дезертирувати чи метод дзеркального відображення та додавання набору даних якимось принциповим чином хибний? Ми розглядаємо й інші підходи, такі як використання фільтра низьких частот.

Мені це здається хитромудрим, оскільки оцінка тенденції буде упередженою поблизу точки, коли ви зробите помилкові дані. Альтернативний підхід - це непараметрична регресія, більш плавна, наприклад, льос або сплайни.

Якщо ви хочете відфільтрувати довгострокову тенденцію, використовуючи обробку сигналів, чому б не просто використати низькочастотний пропуск?

Найпростішим, що я можу придумати, буде експоненціальна ковзна середня.

Я думаю, що ви можете отримати деяке викривлення на точці вставки, оскільки не всі базові хвилі з'єднаються дуже добре.

Я б запропонував використовувати для цього перетворення Гільберта Хуанга. Просто виконайте поділ на функції внутрішнього режиму і подивіться, що залишилось, як залишок при їх обчисленні.

Ви можете використовувати дискретне вейвлет-перетворення (швидко :)) . Хвильова хвиля пакета під R зробить всю роботу. У будь-якому випадку, мені подобається рішення @James, тому що це просто і, здається, йде прямо до справи.

Більшу частину часу, коли я чую "довгострокову тенденцію", я думаю про довгострокові тенденції зростання або довгострокові тенденції до зниження , жодна з яких належним чином не сприймається перетворенням Фур'є. Такі однобічні тенденції краще проаналізувати за допомогою лінійної регресії . (Перетворення Фур'є і періодограми більше підходять для речей, які йдуть вгору і вниз).

Лінійну регресію легко зробити в більшості електронних таблиць. (a) Відобразити рівняння для регресійних ліній (b) Створення графічних діаграм XY за допомогою електронних таблиць

Лінійна регресія намагається наблизити ваші дані прямою лінією. Перетворення Фур'є намагаються наблизити ваші дані, додавши разом декілька синусоїд. Є й інші методи ("нелінійна регресія"), які намагаються наблизити ваші дані до поліномів чи інших фігур.

Перетворення Фур'є передбачає стаціонарність сигналу широкого сенсу та лінійну часову інваріантність (LTI). Незважаючи на те, що це твердо до деяких порушень цих умов, я не думаю, що це підходить для аналізу тенденцій через припущення про стаціонарність, тобто ви намагаєтеся виміряти щось, що порушує одне з основних припущень щодо СФТ.

Я погодився б із плакатами вище; дзеркальне відображення ваших даних та додавання дзеркальних даних до кінця часового ряду є хиткою. Я б припустив, що встановлення лінійної регресійної моделі з часовим трендом, як було зазначено вище, ймовірно, є більш підходящим.

Якщо ви хотіли вивчити періодичність, ви можете усунути тенденцію, фільтруючи високою прохідністю та виконавши аналіз Фур’є. Якщо тенденція залишається помітною після фільтрації, ви можете відняти встановлену лінійну регресійну лінію від початкового сигналу до початку FFT.