Виведення функції регульованої лінійної регресії лінійної регресії за курсом машинного навчання курсу

12

Я пройшов курс Ендрю Нґ «Машинне навчання» через Coursera кілька місяців тому, не звертаючи уваги на більшість математики / виведення, а натомість зосередився на впровадженні та практичності. З тих пір я почав вивчати деякі основні теорії і переглянув деякі лекції проф. Нг. Я читав його лекцію "Регульована лінійна регресія", і побачив, що він надає наступну функцію витрат:

J (θ) = \frac{1}{2 m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}]

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Потім він надає наступний градієнт для цієї функції витрат:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)} - λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$

Я трохи розгублений у тому, як він переходить від одного до іншого. Коли я намагався зробити своє власне виведення, у мене був такий результат:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) + y^{(i)}) x_{j}^{(i)} + λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Різниця полягає в знаку «плюс» між початковою функцією витрат та параметром регуляризації у формулі проф. Нг, що змінюється на знак «мінус» у його градієнтній функції, тоді як цього в моєму результаті не відбувається.

Інтуїтивно розумію, чому це негативно: ми зменшуємо тета-параметр на градієнтній фігурі, і хочемо, щоб параметр регуляризації зменшив величину, яку ми змінюємо, щоб уникнути перевиконання. Я просто трохи застряг в обчисленні, яке підтримує цю інтуїцію.

FYI, колоду ви можете знайти тут , на слайдах 15 і 16.

regression self-study

— Веллінгтон
джерело

1

У своєму результаті у вас є " + ", що передує y ^ (i) - це помилка друку?

— Steve S

12

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Тепер

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Так для лінійного випадку

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Схоже, можливо, у вас і в Ендрю можливі помилки. Ну, принаймні, двоє з нас із трьох.

— Glen_b -Встановити Моніку
джерело

це підтверджено, лише друкарська помилка на записці Андрія, це має бути знак +. І Проф правильно пояснює все правильно, включаючи інтуїцію θ (1-α (λ / m)), що означає кожен раз, коли ця усадка θ, то мінус звичайна частина перед введенням регуляризації.

— Gob00st

4

Насправді, якщо ви перевіряєте конспекти лекцій відразу після відео, воно показує формулу правильно. Слайди, які ви виклали тут, показують точний слайд відео.

— Піюш
джерело

coursera.org/learn/machine-learning/supplement/pKAsc/… тут є посилання на нотатки відразу після відео, що показує правильну формулу.

— Gob00st

1

Власне, я думаю, що це просто помилка.

$-\alpha$ $-\lambda\theta$ $-\alpha$

Мати сенс?

— Стів S
джерело