З огляду на дві лінійні регресійні моделі, яка модель буде краще?

Я взяв курс машинного навчання в коледжі. В одній із цитат було задано це питання.

Модель 1:
$y = θ x + ϵ$ $y = \theta x + \epsilon$ Модель 2: $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$
Яка з перерахованих моделей краще відповідатиме даним? (припустимо, дані можна моделювати за допомогою лінійної регресії)

Правильна відповідь (за словами професора) полягає в тому, що обидві моделі працювали б однаково добре. Однак я вважаю, що перша модель буде краще підходити.

Це причина моєї відповіді. Друга модель, яку можна переписати як $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , не була б такою ж, як перша модель. $\alpha$ насправді є параболою, а значить, має мінімальне значення ( $-0.25$ в цьому випадку). Тепер через це діапазон $\theta$ у першій моделі більший, ніж діапазон $\alpha$ у другій моделі. Отже, якби дані були такими, що найкраще прилягання було нахилом менше $-0.25$ , друга модель буде працювати дуже погано порівняно з першою. Однак у випадку, якщо нахил найкращого прилягання був більшим за , обидві моделі виконали б однаково добре. $-0.25$

Тож перший краще, чи обидва точно однакові?

— куш
джерело

Я думаю, ти прав. Вимагання того, щоб параметр

був виражальним як

(для деяких

), дійсно накладає обмеження на те , що можливі

. Це означає, що друга модель може виражати менші стосунки, ніж перша, оскільки вона по суті зараз є проблемою з обмеженою оптимізацією. Ваші міркування здаються мені твердими.

α

$\alpha$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

α

$\alpha$

— Меттью Друрі

@MatthewDrury Я просто зрозумів, куди я пішов не так, подивіться на відповідь нижче (і коментар)

— kush

Я бачу ваш коментар, але це досить серйозна гімнастика, щоб припустити, що

прийме складні значення. Я б неодмінно відвідував деякі робочі години, щоб поспілкуватися з вашим професором. У будь-якому випадку ви отримаєте хорошу дискусію.

θ

$\theta$

— Меттью Друрі

Мені незрозуміло, звідки береться -0,25. Ви можете уточнити?

— Mad Jack

Мені було б цікаво, як ваш професор підходив би до кожної моделі до двоточкового набору даних

. Для Моделі 1 і

придатність ідеальна, але як би оцінити

в моделі 2, щоб отримати ідеальну форму?

{(1, - 1), (2, - 2)}

$\{(1,-1),(2,-2)\}$

θ = - 1

$\theta=-1$

θ

$\theta$

— whuber

Відповіді:

Модель 2 можна записати так: Це схоже на модель 1, лише з різними позначеннями для гіперпараметрів ( ). Тим НЕ менше, для моделі 1 можна записати

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

Але так як в моделі 2 ми маємо , що то , як ви згадали , дійсно діапазон повинен належати для & . Що призведе до різниці в цих двох моделях.

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$

\hat{β}

$\hat{\beta}$

[- 0.25, + \infty]

$[-0.25,+\infty]$

θ \in R

$\theta \in R$

Таким чином , в моделі 2 ви стримуючи свою оцінку коефіцієнта в відміну від моделі 1. Для того, щоб зробити це більш ясним, слід зазначити , що в моделі виходить шляхом мінімізації квадратичної функції втрат $\hat{\theta}$ Однак в моделі 2 оцінка виходитьдопомогою

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$

що може призвести до іншого результату.

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$

— Wis
джерело

Це має сенс, мене просто вразило, що у

у другій моделі немає обмежень ! У випадку, коли

негативний,

може мати складні значення. Однак це насправді не впливає на модель, правда? У мене немає репортажу, але велике спасибі!

θ

$\theta$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

— куш

@kush ласка , перевірте мій відредагований відповідь , який також адреси вашого занепокоєння

— І

Не впевнений, що я розумію ваші міркування. Якщо ви приймаєте:

y = α x + ϵ

$y = \alpha x+\epsilon$

y = θ x + ϵ

$y = \theta x + \epsilon$

$\alpha$ $\theta$ $\alpha$ $\theta$ $R^2$ $\theta$ $\alpha = \theta + \theta^2$

— акеенлог
джерело

θ

$\theta$

(- \infty, \infty)

$(- \infty, \infty)$

α

$\alpha$

(- 0.25, \infty)

$(- 0.25, \infty)$

x

$x$