ВІДГУК, що дозволяє відмовитися


14
  • Чи існує така модель моделювання, як LOESS, яка допускає нульовий, один або більше розривів, коли терміни розривів не відомі априорі?
  • Якщо методика існує, чи існує реалізація в R?

1
розриви при відомих x-значеннях або при невідомих x-значеннях? (Відомо х досить просто)
Glen_b -Встановіть Моніку

@glen Я оновив питання: Мене цікавлять ситуації, коли терміни розривів не відомі априорі.
Джеромі Англім

Це може бути суперечливим / нерозумним питанням, але ви говорите "терміни": це для використання з часовими рядами? Я вважаю, що більшість відповідей нижче припускають це ("точка зміни тощо"), хоча LOESS можна застосовувати в ситуаціях, що не є часовими рядами, з розривами. Я думаю.
Уейн

Відповіді:


15

Здається, ви хочете виявити багаторазову точку зміни з подальшим незалежним згладжуванням у кожному сегменті. (Виявлення може бути в Інтернеті чи ні, але ваша програма, швидше за все, не буде онлайн.) Про це багато літератури; Пошук в Інтернеті є плідним.

  • Д. А. Стівенс написав корисне вступ до виявлення байесівських змін в 1994 році (додаток, стат. 43, №1, стор. 159-178: JSTOR ).
  • З недавніх пір Пол Фернхед робив гарну роботу (наприклад, Точне та ефективне байєсівське висновок для безлічі проблем з точкою зміни, Stat Comput (2006) 16: 203-213: Безкоштовний PDF ).
  • Існує рекурсивний алгоритм, заснований на прекрасному аналізі D Barry & JA Hartigan
    • Моделі розділу продуктів для точкових моделей змін, Енн. Стат. 20: 260-279: JSTOR ;
    • Баєсовий аналіз для проблем точки зміни, JASA 88: 309-319: JSTOR .
  • Одна реалізація алгоритму Баррі та Хартігана задокументована в О. Seidou & TBMJ Ourda, на основі рекурсії, багаторазового виявлення змінних змін у багатоваріантній лінійній регресії та застосуванні до річкових потоків, Water Res. Рес., 2006: Безкоштовний PDF .

Я не виглядав важко для будь-яких реалізацій R (я кодував його в Mathematica деякий час тому назад), але буду вдячний, якщо ви знайдете його.


3
Я знайшов пакет bcp R jstatsoft.org/v23/i03/paper, який реалізує алгоритм Barry &
Hartigan

@Jeromy: Дякую за пакет R та за вставку посилань на посилання.
whuber

7

зробіть це з регресією зламаної лінії koencker, див. сторінку 18 цієї віньєтки

http://cran.r-project.org/web/packages/quantreg/vignettes/rq.pdf

У відповідь на останній коментар Вюбера:

Цей оцінювач визначений так.

, x ( i )x ( i - 1 )xR ,x(i)x(i1)i

ei:=yiβix(i)β0

z - = max ( - z , 0 )z+=max(z,0)z=max(z,0)

λ 0τ(0,1) ,λ0

min.βRn|τ,λi=1nτei++i=1n(1τ)ei+λi=2n|βiβi1|

τ дає бажаний квантил (тобто у прикладі ). спрямовує кількість точки розриву: для величини цей оцінювач зменшується до точки беззламки (що відповідає класичному лінійному кількісному оцінці регресії).τ=0.9λλ

Quantile Smoothing Splines Roger Koenker, Pin Ng, Stephen Portnoy Biometrika, Vol. 81, № 4 (груд., 1994), стор 673-680

PS: Є робочий папір із відкритим доступом з такою ж назвою тими ж іншими, але це не те саме.


Це гарна ідея: дякую за довідку. Однак залишки цього конкретного пристосування виглядають досить погано, що змушує мене замислитися, наскільки добре він визначає потенційні точки зміни.
whuber

whuber: я не знаю, наскільки ви знайомі з теорією кількісної регресії. Ці лінії мають головну перевагу перед сплайнами: вони не передбачають розподілу помилок (тобто вони не вважають, що залишки є гауссовими).
user603

@kwak Це виглядає цікаво. Якщо припустити, що нормальне розподіл помилок було б корисним для одного з моїх програм.
Джеромі Англім

Дійсно, те, що ви отримуєте з цієї оцінки, є фактичними умовними кванторами: у двох словах, це сплайни / LOESS-регресії, які є коробками для пари (означає, sd): набагато багатший погляд на ваші дані. Вони також зберігають свою силу в негауссовому контексті (наприклад, асиметричні помилки, ...).
user603

@kwak: Залишки сильно корелюються з координатою x. Наприклад, існує тривалий пробіг негативних або малих позитивних залишків. Незалежно від того, мають вони гауссівський розподіл чи ні, вони несуттєві (як і не мають значення в будь-якому дослідному аналізі): ця кореляція показує, що придатність погана.
whuber

6

Ось декілька методів та пов'язаних з ними пакетів R для вирішення цієї проблеми

Вейвлет оцінка thresolding в регресії дозволяє discontonuities. Ви можете використовувати пакет хвилі в Р.

Багато деревних методів (недалеко від ідеї вейвлет) корисні, коли у вас виникають розбіжності. Звідси третій пакет, дерево упаковки!

У сімейних методах " місцевої максимальної вірогідності " ... серед інших: Робота Пожеля та Спокоїни: Згладжування пристосувальних ваг (пакунки з пакетами) Робота Катерини Навантажувач: пакет locfit

Я думаю, що будь-яке ядро більш плавне з локальною мінливою пропускною здатністю має сенс, але я не знаю пакет R для цього.

Зауважте: Я насправді не розумію, в чому різниця між ЛОСОМ та регресією ... це ідея, що в алгоритмах ЛОССУ слід бути "на лінії"?


1
Re LOESS: Можливо, моя термінологія не зовсім вірна. Під LOESS я маю на увазі моделі, які прогнозують Y від X, використовуючи певну форму локалізованої кривої підгонки. наприклад, як видно з більшості графіків: google.com/…
Джеромі Англім

2

Рішення в R повинно бути можливим, використовуючи функцію нелінійної регресії nls, b splines (наприклад, функцію bs у пакеті сплайнів) та функцію ifelse.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.