Знаходження точок перегину в R за згладженими даними

У мене є деякі дані, які я легко використовую loess. Я хотів би знайти точки перегину згладженої лінії. Чи можливо це? Я впевнений, що хтось створив фантазійний метод, щоб вирішити це ... Я маю на увазі ... зрештою, це R!

Я добре змінюю функцію згладжування, яку використовую. Я просто використовував, loessтому що саме цим я користувався в минулому. Але будь-яка функція згладжування - це добре. Я розумію, що точки перегину будуть залежати від функції згладжування, яку я використовую. Я з цим все гаразд. Я хотів би почати, просто виконуючи будь-яку функцію згладжування, яка може допомогти виплюнути точки перегину.

Ось код, який я використовую:

x = seq(1,15)
y = c(4,5,6,5,5,6,7,8,7,7,6,6,7,8,9)
plot(x,y,type="l",ylim=c(3,10))
lo <- loess(y~x)
xl <- seq(min(x),max(x), (max(x) - min(x))/1000)
out = predict(lo,xl)
lines(xl, out, col='red', lwd=2)

З точки зору використання R, щоб знайти перегини в згладженій кривій, вам просто потрібно знайти ті місця в згладжених значеннях y, де зміна знаків y перемикається.

infl <- c(FALSE, diff(diff(out)>0)!=0)

Потім ви можете додати точки до графіка, де відбуваються ці перегини.

points(xl[infl ], out[infl ], col="blue")

З точки зору пошуку статистично значущих точок перегину, я погоджуюся з @nico, що ви повинні вивчити аналіз змінних точок, який іноді також називають сегментованою регресією.

Тут є проблеми на кількох рівнях.

По-перше, лесс просто буває один плавніший, і є багато, багато з чого вибрати. Оптимісти стверджують, що практично будь-який розумний плавніший знайде справжній зразок і майже всі розумні згладжувачі погоджуються щодо реальних моделей. Песимісти стверджують, що це проблема, і що "розумні згладжування" та "реальні зразки" тут визначаються один з одним. До речі, чому лессе і чому ви вважаєте, що тут хороший вибір? Вибір полягає не лише в одному плавному чи одноманітному здійсненні більш плавного (не все, що йде під назвою leess або lowess, є ідентичним для програмного забезпечення), але також і в одному ступені вирівнювання (навіть якщо це обрано рутина для вас). Ви згадуєте цей пункт, але це не стосується його.

Більш конкретно, як показує приклад вашої іграшки, основні риси, такі як поворотні точки, легко не зберігаються льосом (не виокремлюючи і лес). Ваш перший локальний мінімум зникає, а ваш другий локальний мінімум витісняється певним рівним ви показуєте. Сподівання, що визначаються нулями другої похідної, а не першої, можна очікувати, що вони будуть ще більш непостійними.

Існує маса чудових підходів до цього питання. Деякі включають. (1) - changepoint- пакет (2) - сегментований - пакет. Але вам потрібно вибрати кількість точок змін. (3) MARS, як реалізовано в пакеті -thearth

Залежно від вашої упередженості / відхилення від змін, все дасть вам трохи іншу інформацію. -сегментовано - варто переглянути. Різну кількість моделей змінних точок можна порівняти з AIC / BIC

Можливо, ви можете використовувати бібліотеку fda, ​​і як тільки ви оціните відповідну безперервну функцію, ви зможете легко знайти місця, де друга похідна дорівнює нулю.

FDA CRAN

FDA Intro

Я багато разів відвідував блог щодо пакету змін (> 650 станом на 11 листопада 2014 року), тож ось оновлений пост із використанням CausalImpact. http://r-datameister.blogspot.com/2014/11/causality-in-time-series-look-at-2-r.html