Прилаштовують кусково-лінійні дані

Що є надійним способом пристосування до кускових лінійних, але галасливих даних?

Я вимірюю сигнал, який складається з декількох майже лінійних сегментів. Я хотів би атоматично прилаштувати кілька даних до даних, щоб виявити переходи.

Набір даних складається з декількох тисяч точок, з 1-10 сегментами, і я знаю кількість сегментів.

Це приклад того, що я хотів би зробити автоматично.

Я спробував два підходи, наївно (використовуючи лише 3 сегменти). Зрозуміло, там будуть більш химерні методи.

RANSAC, який повинен бути надійним механізмом прилягання. Зупинити алгоритм дуже просто через ряд сегментів. Однак може бути важко забезпечити безперервність між сегментами - як здається, потрібно у вашій програмі - принаймні за допомогою простої реалізації. Як доказ концепції, я створив зображення з точок даних, щоб я міг використовувати двигун RANSAC, доступний в , функцію виявлення ліній Mathematica.$ImageLines$

Встановити кусково-лінійну модель, використовуючи мінімізатор загального призначення. Це легко забезпечити безперервність сегментів. Цікаво, що тестування на залишки та інші властивості може надати достатньо інформації для автоматичного визначення кількості сегментів - я цього не намагався. Ось як це виглядає в Mathematica:

Я не стверджую, що наступний метод є надійним, але він може працювати для вас. З тисячами точок та, можливо, десятьма чи більше прямими відрізками, поступайте так.$x[n]$

• Обробіть точки щоб створити бітовий масив y [ n ] наступним чином. y [ n ] = { 1 , якщо | ( x [ n + 1 ] - x [ n ] ) - ( x [ n ] - x [ n - 1 ] ) | < ϵ , 0 , інакше. Ось$x[n]$$y[n]$

  $$y[n] = \begin{cases}1, &\text{if} ~ |(x[n+1]-x[n]) - (x[n]-x[n-1])| < \epsilon,\\ 0, &\text{otherwise.}\end{cases}$$ $\epsilon$$x[n-1],x[n], x[n+1]$$(n-1, x[n-1])$$(n,x[n])$має майже такий же нахил, що і пряма через та ( n + 1 , x [ n + 1 ] ) .$(n,x[n])$$(n+1,x[n+1])$

• Якщо - це масив з десяти або довгих тривалих пробігів у 1 с, розділених пробіжками 0 с з випадковими бродячими 1 с тут і там, щоб позначити красу, відпочити, ви на правильному шляху. В іншому випадку, якщо є занадто мало пробіжок або занадто багато запусків за 1 с, повторіть попередній крок з іншим ϵ .$y[n]$$1$$0$$1$$1$$\epsilon$

• $y[n]$$x[3]$$x[88]$$x[94]$$x[120]$$x[129]$$\cdots$, і так далі. Простягніть A вправо і B вліво, щоб дізнатися, де вони перетинаються; продовжте B вправо і C вліво, щоб дізнатися, де вони перетинаються і т. д. Вітаємо, тепер у вас є безперервна і кусочно лінійна модель для ваших даних.

(Роками пізніше) кусково-лінійні функції - це сплайни 1-го ступеня, які можна сказати більшості слюсарів. Наприклад, scipy.interpolate.UnivariateSpline може бути запущений k=1 та згладжуючий параметр s, з яким вам доведеться грати - див. scipy-interpolation-with-univariate-splines .
У Matlab дивіться, як вибрати вузли .

Додано: знайти оптимальні вузли непросто, оскільки місцевих оптимів може бути багато. Натомість ви даєте UnivariateSpline ціль s, суму помилки ^ 2, і дозволите їй визначити кількість вузлів. Після установки, get_residual()ви отримаєте фактичну суму помилки ^ 2 та get_knots()вузлів. Невелика зміна sможе сильно змінити вузли, особливо при високому шумі - ymmv.
Сюжет показує пристосування до випадкової кусочно-лінійної функції + шум для різних s.

Докладніше про встановлення постійних констант див. У розділі Виявлення кроків . Чи можна це використовувати для pw лінійних? Не знаю; починаючи з диференціації галасливих даних, підвищить рівень шуму, неправильно.

Інші тестові функції та / або посилання на папери або код будуть вітатися. Пара посилань:
кусково-лінійна регресія з вузлами як параметри
$\qquad$Лінійні сплайни дуже чутливі до місця розміщення
вузлів для вибору вузлів для кубічної регресії
$\qquad$ Це складна проблема, і більшість людей просто вибирають вузли методом проб і помилок.
$\qquad$ Одним із популярних підходів є використання замість цього санкціонованих регресійних сплайнів.

optimal k lines
    = optimal k - 1 lines up to some x
    + cost of the last line x to the end
over x  (all x in theory, nearby x in practice)

Динамічне програмування є дуже розумним, але чи може він перемогти грубу силу + евристику для цього завдання?
Дивіться чудові записки курсу Еріка Демейна в розділі MIT 6.006. Вступ до алгоритмів
також розрізненої лінійною регресією Google,
також синдром Джона Генрі.

Візьміть похідну і шукайте області майже постійного значення. Вам потрібно створити алгоритм для пошуку тих областей з ідеально деяким рівнем +/- нахилу, і це дасть вам нахил лінії для цього розділу. Можливо, ви захочете виконати деяке згладжування, наприклад, середнє ковзання, перш ніж робити класифікацію секцій. Наступним кроком було б отримати y-перетин, який повинен бути тривіальним у цій точці.

Використання фільтра трендів l1 - ще одна ідея:

Папір

Приклад онлайн