Навіщо хтось використовувати KNN для регресії?

З того, що я розумію, ми можемо побудувати лише регресійну функцію, яка лежить в інтервалі навчальних даних.

Наприклад (потрібна лише одна з панелей):

Як би я передбачив майбутнє за допомогою регресора KNN? Знову ж таки, здається, лише приблизна функція, яка лежить в інтервалі навчальних даних.

Моє запитання: Які переваги використання регресора KNN? Я розумію, що це дуже потужний інструмент класифікації, але, здається, він би погано працював у сценарії регресії.

Місцеві методи, такі як K-NN, мають сенс у деяких ситуаціях.

Один із прикладів, який я робив у шкільній роботі, стосувався прогнозування міцності на стиск різних сумішей цементних інгредієнтів. Усі ці інгредієнти були відносно енергонезалежними щодо відповіді чи один на одного, і KNN зробив на це достовірні прогнози. Іншими словами, жодна з незалежних змінних не мала пропорційно великої дисперсії для надання моделі окремо або, можливо, шляхом взаємної взаємодії.

Візьміть це з зерном солі, тому що я не знаю техніки дослідження даних, яка це наочно показує, але інтуїтивно здається, що якщо ваші функції мають певну пропорційну ступінь відхилень, я не знаю, яка пропорція, можливо, у вас є Кандидат у КНН. Я, безумовно, хотів би знати, чи існували якісь дослідження та отримані в результаті методики для цього.

Якщо ви думаєте про це з узагальненої точки зору, існує широкий клас застосувань, де подібні «рецепти» дають подібні результати. Це, звичайно, описувало ситуацію прогнозування результатів змішування цементу. Я б сказав, якби у вас були дані, які поводилися відповідно до цього опису, і крім того, ваша міра відстані також була природною для домену, і, нарешті, що у вас є достатня кількість даних, я б вважав, що ви повинні отримати корисні результати від KNN чи іншого локального методу .

Ви також отримуєте перевагу вкрай низької упередженості, коли використовуєте місцеві методи. Іноді узагальнені моделі добавок (GAM) врівноважують зміщення та дисперсію, встановлюючи кожну окрему змінну за допомогою KNN таким чином:

$$\hat{y}=f_1(x_1) + f_2(x_2) + \dots + f_n(x_n) + \epsilon$$

$f_n(x_n)$

Я б не списав КНН так швидко. Це має своє місце.

Я не люблю це говорити, але насправді коротка відповідь полягає в тому, що "передбачити майбутнє" насправді неможливо ні з кнн, ні з будь-яким іншим існуючим на даний момент класифікатором чи регресором.

Звичайно, ви можете екстраполювати лінію лінійної регресії або гіперплощину SVM, але врешті-решт ви не знаєте, яким буде майбутнє, бо, як ми знаємо, лінія може бути просто невеликою частиною кривої реальності. Це стає очевидним, коли ви, наприклад, дивитесь на методи Баєса, як Гауссові процеси, ви помітите велику невизначеність, як тільки ви покинете "відомий вхідний домен".

Звичайно, ви можете спробувати узагальнити від того, що сталося сьогодні, до того, що, можливо, відбудеться завтра, що легко можна зробити за допомогою регрессора knn (наприклад, минулорічні номери клієнтів у різдвяний час можуть дати вам добру підказку щодо номерів цього року). Звичайно, інші методи можуть включати тенденції тощо, але врешті-решт, ви можете побачити, наскільки добре це працює, коли справа стосується фондового ринку або довгострокових прогнозів погоди.

Перший приклад для "Як я можу передбачити майбутнє за допомогою регресора KNN?".

$sun_{t+1}$$sun_t .. sun_{t-6}$
$sun_t$

$week_t \equiv sun_t .. sun_{t-6}$ і $tomorrow( week_t )) \equiv sun_{t+1}$ .

Спосіб: ставити 3650 непарних $week_t$криві у дереві kd з k = 7.
Дано нове$week$, шукайте його сказати 10 найближчих сусідів тижнів
з їх$tomorrow_0 .. tomorrow_9$ і обчислити
$\qquad predict( week ) \equiv$ середньозважене значення $tomorrow_0 .. tomorrow_9$

Налаштуйте ваги, див., Наприклад, зважене-зворотне відстань-idw-інтерполяція-з-пітоном ,
а відстань метрики для «найближчого сусіда» в 7d.

"Які переваги використання регресора KNN?"
До хороших коментарів інших людей я б додав легкого кодування та розуміння та масштабування великих даних.
Недоліки: чутливість до даних та налаштування, не дуже розуміння .

---

(Довга виноска на термінології:
"регресія" використовується як вигадливе слово для "пристосування моделі до даних".
Найбільш поширеними є відповідні дані$X$ до цілі $Y$ з лінійною моделлю:
$\qquad Y_t = b_0 X_t + b_1 X_{t-1} + ...$
Also common is predicting tomorrow's say stock price $Y_{t+1}$ from prices over the last week or year:
$\qquad Y_{t+1} = a_0 Y_t + a_1 Y_{t-1} + ...$
Forecasters call this an ARMA, Autoregressive moving-average_model or Autoregressive model . See also Regression analysis .

So your first line "we can only build a regression function that lies within the interval of the training data" seems to be about the confusing word "regression".)

From An Introduction to Statistical Learning, section 3.5:

In a real-life situation in which the true relationship is unknown, one might draw the conclusion that KNN should be favored over linear regression because it will at worst be slightly inferior than linear regression if the true relationship is linear, and may give substantially better results if the true relationship is non-linear.

But there are constraints (not from the textbook, just what I concluded):

1. a sufficient number of observations per predictor.
2. the number of predictors should not be too big.