Як зробити кускову лінійну регресію з кількома невідомими вузлами?

Чи є якісь пакети, щоб зробити кусочну лінійну регресію, яка може виявити кілька вузлів автоматично? Спасибі. Коли я використовую пакунок strucchange. Я не міг виявити точки зміни. Я поняття не маю, як він визначає точки зміни. З сюжетів я міг бачити, що є кілька моментів, я хочу, щоб це могло допомогти мені вибрати їх. Хтось може навести приклад тут?

Чи застосовуватиметься MARS ? R має пакет, earthякий реалізує його.

Взагалі, хоч трохи дивно хотіти підходити до лінійки. Однак якщо ви дійсно бажаєте цього зробити, то алгоритм MARS є найбільш прямим. Це створить функцію по одному вузлу за раз; а потім, як правило, обрізає кількість вузлів для боротьби із надмірними деревами ала рішення. Ви можете отримати доступ до алгоритму MARS в R через earthабо mda. Загалом, він підходить до GCV, який не так далеко відібраний від інших інформаційних критеріїв (AIC, BIC тощо)

MARS насправді не дасть вам "оптимальної" форми, оскільки вузли вирощуються один за одним. Справді було б досить важко помістити справді "оптимальну" кількість вузлів, оскільки можливі перестановки розміщення вузлів швидко вибухнуть.

Як правило, саме тому люди звертаються до вирівнювання сплайнів. Більшість згладжуючих сплайнів є кубічними лише для того, щоб ви могли обдурити людське око пропустити розриви. Однак цілком можливо зробити лінійну розгладжувальну сплайн. Великою перевагою згладжування сплайнів є їх єдиний параметр для оптимізації. Це дозволяє швидко досягти справді "оптимального" рішення, не потребуючи пошуку перестановок. Однак якщо ви дійсно хочете шукати перегин балів, і у вас є достатньо даних для цього, то щось на зразок MARS, ймовірно, буде вашим найкращим вибором.

Ось декілька прикладів коду для пенізованих лінійних згладжувальних сплайнів у R:

require(mgcv);data(iris);
gam.test <- gam(Sepal.Length ~ s(Petal.Width,k=6,bs='ps',m=0),data=iris)
summary(gam.test);plot(gam.test);

Фактичні вибрані вузли не обов'язково співвідносяться з будь-якими справжніми точками перегину.

Я запрограмував це з нуля один раз кілька років тому, і у мене є файл Matlab для виконання лінійної регресії на моєму комп’ютері. Приблизно від 1 до 4 точок прориву обчислювально можливо для приблизно 20 точок вимірювання або близько того. 5 або 7 пунктів перерв починає бути дуже багато.

Чисто математичний підхід, як я бачу, - це спробувати всі можливі комбінації, як це запропонував користувач mbq, у питанні, пов'язаному з коментарем під вашим запитанням.

Оскільки приталені лінії є послідовними та суміжними (без перекриттів), комбінаторика буде слідувати трикутнику Паскаля. Якби між перетвореними точками даних були сегменти рядків, я вважаю, що комбінаторика замість цього буде слідувати числам Стірлінга другого роду.

Найкращим рішенням, на мій погляд, є вибір комбінації прилаштованих ліній, що має найнижче стандартне відхилення значень кореляції R ^ 2 пристосованих ліній. Спробую пояснити на прикладі. Пам’ятайте, що те, що запитувати, скільки пунктів перерв слід знайти в даних, схоже на запитання «Як довго берег Британії?» як в одній з робіт Бенуа Мандельброта (математика) про фрактали. І існує компроміс між кількістю точок зриву та глибиною регресу.

Тепер до прикладу.

$y$$x$$x$$y$

$$\begin{array}{|c|c|c|c|c|c|} \hline &x &y &R^2 line 1 &R^2 line 2 &sum of R^2 values &standard deviation of R^2 \\ \hline &1 &1 &1,000 &0,0400 &1,0400 &0,6788 \\ \hline &2 &2 &1,000 &0,0118 &1,0118 &0,6987 \\ \hline &3 &3 &1,000 &0,0004 &1,0004 &0,7067 \\ \hline &4 &4 &1,000 &0,0031 &1,0031 &0,7048 \\ \hline &5 &5 &1,000 &0,0135 &1,0135 &0,6974 \\ \hline &6 &6 &1,000 &0,0238 &1,0238 &0,6902 \\ \hline &7 &7 &1,000 &0,0277 &1,0277 &0,6874 \\ \hline &8 &8 &1,000 &0,0222 &1,0222 &0,6913 \\ \hline &9 &9 &1,000 &0,0093 &1,0093 &0,7004 \\ \hline &10 &10 &1,000 &-1,978 &1,000 &0,7071 \\ \hline &11 &9 &0,9709 &0,0271 &0,9980 &0,6673 \\ \hline &12 &8 &0,8951 &0,1139 &1,0090 &0,5523 \\ \hline &13 &7 &0,7734 &0,2558 &1,0292 &0,3659 \\ \hline &14 &6 &0,6134 &0,4321 &1,0455 &0,1281 \\ \hline &15 &5 &0,4321 &0,6134 &1,0455 &0,1282 \\ \hline &16 &4 &0,2558 &0,7733 &1,0291 &0,3659 \\ \hline &17 &3 &0,1139 &0,8951 &1,0090 &0,5523 \\ \hline &18 &2 &0,0272 &0,9708 &0,9980 &0,6672 \\ \hline &19 &1 &0 &1,000 &1,000 &0,7071 \\ \hline &20 &2 &0,0094 &1,000 &1,0094 &0,7004 \\ \hline &21 &3 &0,0222 &1,000 &1,0222 &0,6914 \\ \hline &22 &4 &0,0278 &1,000 &1,0278 &0,6874 \\ \hline &23 &5 &0,0239 &1,000 &1,0239 &0,6902 \\ \hline &24 &6 &0,0136 &1,000 &1,0136 &0,6974 \\ \hline &25 &7 &0,0032 &1,000 &1,0032 &0,7048 \\ \hline &26 &8 &0,0004 &1,000 &1,0004 &0,7068 \\ \hline &27 &9 &0,0118 &1,000 &1,0118 &0,6987 \\ \hline &28 &10 &0,04 &1,000 &1,04 &0,6788 \\ \hline \end{array}$$

Ці значення y мають графік:

Який явно має дві точки розриву. Для аргументу ми обчислимо значення кореляції R ^ 2 (за формулами комірки Excel (стиль європейської крапки з комами)):

=INDEX(LINEST(B1:$B$1;A1:$A$1;TRUE;TRUE);3;1)
=INDEX(LINEST(B1:$B$28;A1:$A$28;TRUE;TRUE);3;1)

для всіх можливих комбінованих двох поєднаних ліній. Усі можливі пари значень R ^ 2 мають графік:

Питання полягає в тому, яку пару значень R ^ 2 слід вибрати, і як узагальнити до декількох точок розриву, як задано в заголовку? Один вибір - вибрати комбінацію, для якої сума кореляції R-квадрата є найвищою. Складаючи це, ми отримуємо верхню синю криву внизу:

$1,0455$

Шматка мудра лінійна регресія - Matlab - декілька точок розриву

Існує досить приємний алгоритм, описаний у Tomé and Miranda (1984) .

Запропонована методологія використовує підхід з найменшими квадратами для обчислення найкращого безперервного набору прямих ліній, що відповідають заданому часовому ряду, з урахуванням ряду обмежень щодо мінімальної відстані між точками переривання та мінімальної зміни тренда на кожній точці розриву.

Код та графічний інтерфейс доступні у Fortran та IDL на веб-сайті: http://www.dfisica.ubi.pt/~artome/linearstep.html

... в першу чергу ви повинні зробити це за ітераціями та за деяким інформаційним критерієм, таким як AIC AICc BIC Cp; тому що ви можете отримати "ідеальну" підгонку, якщо кількість вузлів K = кількість od точок даних N, добре. ... спочатку ставимо К = 0; оцінити L = K + 1 регресії, наприклад, обчислити AICc; тоді припустимо мінімальну кількість точок даних на окремому сегменті, скажімо, L = 3 або L = 4, ок ... ставимо K = 1; починати з L-го даних як першого вузла, обчислювати SS або MLE, ... і покроково наступну точку даних у вигляді вузла, SS або MLE, до останнього вузла в даних N - L; виберіть розташування з найкращим підходом (SS або MLE), обчисліть AICc ... ... поставте K = 2; ... використовуйте всі попередні регресії (тобто їх SS або MLE), але крок за кроком розділіть один сегмент на всі можливі частини ... виберіть розташування з найкращим підходом (SS або MLE), обчисліть AICc ... якщо останній AICc виявляється більшим, ніж попередній: припиніть ітерації! Це оптимальне рішення за критерієм AICc, добре

Я одного разу натрапив на програму під назвою Joinpoint . На своєму веб-сайті вони кажуть, що вона відповідає моделі точки з'єднання, де "кілька різних ліній з'єднано разом у" точках з'єднання "". І далі: "Користувач надає мінімальну та максимальну кількість точок приєднання. Програма починається з мінімальної кількості точок приєднання (наприклад, 0 точок приєднання, що є прямою лінією) і перевіряє, чи більше об'єднаних точок є статистично значущими та повинні бути додані до моделі (до цієї максимальної кількості). "

NCI використовує його для моделювання тенденцій раку, можливо, воно відповідає вашим потребам.

Для того, щоб пристосуватись до даних детально:

$a_1 , a_2 , p_1 , q_1, p_2 , q_2 , p_3 , q_3$

Наприклад, з точними даними, які надає Матс Гранвік, результат:

Без розкиданих даних цей приклад не дуже вагомий. Інші приклади з розкиданими даними показані у посиланні.

Ви можете використовувати mcpпакет, якщо знаєте кількість точок зміни, які слід зробити. Це дає велику гнучкість моделювання та багато інформації про точки зміни та параметри регресії, але ціною швидкості.

Веб-сайт mcp містить багато прикладних прикладів, наприклад,

library(mcp)

# Define the model
model = list(
  response ~ 1,  # plateau (int_1)
  ~ 0 + time,    # joined slope (time_2) at cp_1
  ~ 1 + time     # disjoined slope (int_3, time_3) at cp_2
)

# Fit it. The `ex_demo` dataset is included in mcp
fit = mcp(model, data = ex_demo)

Потім ви можете візуалізувати:

plot(fit)

Або підсумуйте:

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: response ~ 1
  2: response ~ 1 ~ 0 + time
  3: response ~ 1 ~ 1 + time

Population-level parameters:
    name match  sim  mean lower  upper Rhat n.eff
    cp_1    OK 30.0 30.27 23.19 38.760    1   384
    cp_2    OK 70.0 69.78 69.27 70.238    1  5792
   int_1    OK 10.0 10.26  8.82 11.768    1  1480
   int_3    OK  0.0  0.44 -2.49  3.428    1   810
 sigma_1    OK  4.0  4.01  3.43  4.591    1  3852
  time_2    OK  0.5  0.53  0.40  0.662    1   437
  time_3    OK -0.2 -0.22 -0.38 -0.035    1   834

Відмова від відповідальності: Я розробник ПК.