Чи може бути кілька локальних оптимальних рішень, коли ми вирішуємо лінійну регресію?

Я читаю це твердження на одному старому істинному / хибному іспиті:

Ми можемо отримати декілька локальних оптимальних рішень, якщо вирішити задачу лінійної регресії шляхом мінімізації суми помилок у квадраті за допомогою градієнтного спуску.

Рішення: помилкове

Моє запитання, яка частина цього питання неправильна? Чому це твердження хибне?

Це питання цікаве, оскільки воно розкриває деякі зв'язки між теорією оптимізації, методами оптимізації та статистичними методами, які повинен розуміти будь-який здатний користувач статистики. Хоча ці зв’язки прості і легко засвоюються, вони тонкі і часто не помічаються.

Узагальнюючи деякі ідеї з коментарів до інших відповідей, я хотів би зазначити, що існує принаймні два способи, завдяки яким «лінійна регресія» може дати унікальні рішення - не просто теоретично, а на практиці.

Відсутність ідентифікації

Перший - це коли модель не вдається ідентифікувати. Це створює опуклу, але не строго випуклу цільову функцію, яка має декілька рішень.

Розглянемо, наприклад, регресує проти і (з перехопленням) для даних . Одне рішення - . Інша - . Щоб побачити, що повинно бути кілька рішень, параметризуйте модель з трьома реальними параметрами та помилкою у форміх Y ( х , у , г ) ( 1 , - 1 , 0 ) , ( 2 , - 2 , - 1 ) , ( 3 , - 3 , - 2 ) г = 1 + у г = 1 - х ( λ , μ , ν ) $z$$x$$y$$(x,y,z)$$(1,-1,0),(2,-2,-1),(3,-3,-2)$$\hat z = 1 + y$$\hat z = 1-x$$(\lambda,\mu,\nu)$$\varepsilon$

Сума квадратів залишків спрощується до

(Це обмежувальний випадок об'єктивних функцій, які виникають на практиці, наприклад, розглянутий у " Чи може емпіричний гессіан М-оцінювача бути невизначеним?" , Де ви можете прочитати детальний аналіз та переглянути графіки функції.)

Оскільки коефіцієнти квадратів ( і ) позитивні, а визначник є позитивним, це квадратична позитивно-напіввизначена форма у . Він зведений до мінімуму, коли , але може мати будь-яке значення. Оскільки цільова функція ім'я не залежить від , а також її градієнт (або будь-які інші похідні). Тому будь-який алгоритм спуску градієнта - якщо він не вносить довільних змін напряму - встановить значення рішення таким, яким би було початкове значення.56 3 × 56 - ( 24 / 2 ) 2 = 24 ( μ , ν , А , ) μ = ν = 0 А , БСО А , $3$$56$$3\times 56 - (24/2)^2 = 24$$(\mu,\nu,\lambda)$$\mu=\nu=0$$\lambda$$\operatorname{SSR}$$\lambda$$\lambda$

Навіть коли градієнтний спуск не використовується, рішення може змінюватися. В R, наприклад, є два простих, еквівалентні способи вказати цю модель: як z ~ x + yабо z ~ y + x. Перший дає але другий дає . г =1+$\hat z = 1 - x$$\hat z = 1 + y$

> x <- 1:3
> y <- -x
> z <- y+1

> lm(z ~ x + y)
Coefficients:
(Intercept)            x            y  
          1           -1           NA  


> lm(z ~ y + x)
Coefficients:
(Intercept)            y            x  
          1            1           NA 

( NAЗначення слід інтерпретувати як нулі, але з попередженням про існування декількох рішень. Попередження було можливим через попередній аналіз, виконаний таким чином, Rщо не залежить від його способу рішення. Метод градієнтного спуску, ймовірно, не виявить можливості численних рішень, хоча хороший би попередив вас про деяку невпевненість у тому, що він досяг оптимального).

Обмеження параметрів

Сувора опуклість гарантує унікальний глобальний оптимум, якщо область параметрів опукла. Обмеження параметрів може створювати невипуклі домени, що призводить до безлічі глобальних рішень.

Дуже простий приклад наводить проблема оцінки "середнього" для даних з обмеженням . Це моделює ситуацію, яка є якоюсь протилежною методам регуляризації, таких як Регрес Рейда, Лассо або Еластична сітка: наполягає на тому, щоб параметр моделі не став занадто малим. (На цьому веб-сайті з'явилися різноманітні запитання, як вирішити проблеми з регресією з такими обмеженнями параметрів, показавши, що вони виникають на практиці.)- 1 , 1 | мк | ≥ 1 /$\mu$$-1, 1$$|\mu| \ge 1/2$

У цьому прикладі є два найменші квадратні рішення, обидва однаково хороші. Вони знаходять шляхом мінімізації урахуванням обмеження . Два рішення - . Більше одного рішення може виникнути, оскільки обмеження параметра робить домен невипуклим:$(1-\mu)^2 + (-1-\mu)^2$$|\mu| \ge 1/2$$\mu=\pm 1/2$$\mu \in (-\infty, -1/2]\cup [1/2, \infty)$

Парабола - графік (строго) опуклої функції. Товста червона частина - це частина, обмежена домену : вона має дві найнижчі точки в , де сума квадратів становить . Решта параболи (показана пунктирною) обмеженням видаляється, тим самим виключаючи її унікальний мінімум з розгляду.$\mu$$\mu=\pm 1/2$$5/2$

Спосіб градієнтного спуску, якщо він не бажає робити великих стрибків, швидше за все, знайде "унікальне" рішення коли починається з позитивного значення, інакше він знайде "унікальне" рішення починаючи з від’ємного значення.$\mu=1/2$$\mu=-1/2$

Така ж ситуація може статися і з більшими наборами даних і з більш високими розмірами (тобто з більшою кількістю параметрів регресії).

Я боюся, що немає бінарної відповіді на ваше запитання. Якщо лінійна регресія суворо опукла (немає обмежень на коефіцієнти, не регуляризатор тощо), то спуск градієнта матиме унікальне рішення, і це буде глобальним оптимальним. Спуск градієнта може і поверне декілька рішень, якщо у вас є проблема, що не має опуклості.

Хоча ОП вимагає лінійної регресії, нижченаведений приклад показує мінімальну мінімізацію квадратів, хоча нелінійна (проти лінійної регресії, якої хоче ОП) може мати декілька рішень, а градієнтний спуск може повернути інше рішення.

Я можу показати емпірично, використовуючи простий приклад, що

1. Сума помилок у квадраті певний час може бути невипуклою, тому мати декілька рішень
2. Метод градієнтного спуску може забезпечити безліч рішень.

Розглянемо приклад, коли ви намагаєтеся мінімізувати найменші квадрати для наступної проблеми:

$w$$a$

$a_{12} =9,a_{13} = 1/9,a_{23}=9,a_{31}=1/9$

$minimize$ ${(9-\frac{w_1}{w_2})^2+(\frac{1}{9}-\frac{w_1}{w_3})^2+(\frac{1}{9}-\frac{w_2}{w_1})^2+(9-\frac{w_2}{w_3})^2+(9-\frac{w_3}{w_1})^2+(\frac{1}{9}-\frac{w_3}{w_2})^2}$

Вищезазначена проблема має 3 різні рішення, і вони такі:

$w = (0.670,0.242,0.080),obj = 165.2$

$w = (0.080,0.242,0.670),obj = 165.2$

$w = (0.242,0.670,0.080),obj = 165.2$

Як показано вище, проблема найменших квадратів може бути невипуклою і може мати багаторазове рішення. Тоді вищевказану проблему можна вирішити, використовуючи метод градієнтного спуску, такий як мікрософт excel solver, і кожен раз, коли ми запускаємо, ми отримуємо інше рішення. оскільки спуск градієнта є локальним оптимізатором і може застрягнути в локальному рішенні, нам потрібно використовувати різні вихідні значення, щоб отримати справжню глобальну оптимуму. Така проблема залежить від початкових значень.

Це тому, що цільова функція, яку ви мінімізуєте, опукла, є лише один мінімум / максимум. Тому локальний оптимум - це також глобальний оптимум. Градієнтний спуск з часом знайде рішення.

Чому ця об’єктивна функція опукла? У цьому полягає краса використання помилки квадрата для мінімізації. Виведення та рівність до нуля добре покажуть, чому це так. Це досить проблема з підручником і висвітлюється майже скрізь.