Лінійна регресія: будь-який ненормальний розподіл, що дає тотожність OLS та MLE?

13

Це питання викликане довгим обговоренням у коментарях тут: Як лінійна регресія використовує нормальний розподіл?

У звичайній лінійної регресійної моделі, для простоти тут написана тільки один провісник:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ , де

x_{i}

$x_i$ відомі константи і &

ϵ_{i}

$\epsilon_i$ дорівнюють нулю, середні незалежні вектори помилок. Якщо ми, крім того, припустимо нормальні розподіли для помилок, то звичайні оцінювачі найменших квадратів та максимальна оцінка ймовірності

β_{0}, β_{1}

$\beta_0, \beta_1$ однакові.

Тож моє легке запитання: чи існує якийсь інший розподіл для термінів помилки, щоб млека були ідентичними звичайному оцінювачу найменших квадратів? Одне значення легко показати, інше - не так.

— kjetil b halvorsen
джерело

1

(+1) Це повинно бути розподілом, орієнтованим навколо нуля, і, здавалося б, це допоможе, якби це було симетричним. Деякі кандидати, які приходять на розум, наприклад, t- чи розподіл Лапласа, схоже, не виконують трюк, оскільки MLE, навіть у постійному єдиному випадку, недоступний у закритому вигляді або наданий відповідно медіаною.

— Крістоф Хенк

дивіться також stats.stackexchange.com/questions/99014/… , здається, є лише стільки, щоб знайти

— Крістоф Ханк

Я впевнений, що відповідь - ні. Однак, важко написати жорсткий доказ.

— Гордон Сміт

11

За максимальною оцінкою ймовірності ми проводимо розрахунок

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

останнє відношення з урахуванням структури лінійності рівняння регресії.

Для порівняння, оцінювач OLS задовольняє

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Для отримання однакових алгебраїчних виразів для коефіцієнтів нахилу нам потрібно мати щільність для терміна помилки, що

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Це диференційні рівняння виду $y' = \pm\; xy$ які мають рішення

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Будь-яка функція, яка має це ядро та інтегрується до єдності над відповідним доменом, зробить MLE та OLS для коефіцієнтів нахилу однаковими. А саме ми шукаємо

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

Чи є така $g$ який не є нормальною щільністю (або напів нормальною чи похідною функції помилки)?

Звичайно. Але ще одна річ, яку слід враховувати, полягає в наступному: якщо використовується знак плюс в експоненті і, наприклад, симетрична підтримка навколо нуля, вийде щільність, яка має унікальний мінімум в середині, і два локальні максимуми в межі опори.

— Алекос Пападопулос
джерело

Чудова відповідь (+1), але якщо в функції використовується знак плюс, це навіть щільність? Тоді може здатися, що функція має нескінченний інтеграл і тому не може бути нормалізована до функції щільності. Якщо це так, нам залишається лише нормальний розподіл.

— Бен - Відновити Моніку

1

@Бен Дякую Здається, ви неявно припускаєте, що діапазон випадкової величини буде плюс / мінус нескінченності. Але ми можемо визначити rv для діапазону в обмеженому інтервалі, і в цьому випадку ми можемо дуже добре використовувати знак плюс. Ось чому в своїх виразах я використовував як межі інтеграції

.

(a, b)

$(a,b)$

— Алекос Пападопулос

Це правда - я припускав це.

— Бен - Відновлення Моніки

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$ прийнятно. Це означає, наприклад, що щільність форми

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$ є прийнятними оскільки чинник

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

Інша установка, де обидва оцінки оцінюються, коли дані надходять із сферично симетричного розподілу , а саме коли (векторні) дані мають умовну щільність при спадна функція. (У цьому випадку OLS все ще доступний, хоча припущення про незалежність має місце лише у звичайному випадку.) $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— Сіань
джерело

1

Для мене це не виглядає правильно. Якщо ви використовуєте інше сферично-симетричне розподіл, чи не призведе це до мінімізації іншої функції норми, ніж квадрат (таким чином, не найменшим значенням квадратів)?

— Бен - Відновлення Моніки

1

Я не знав про це питання, поки @ Xi'an тільки не оновив відповідь. Є більш загальне рішення. Експоненціальні розподіли сімей з деякими параметрами фіксували вихід на розбіжності Брегмана. Для таких розподілів мається на увазі мінімізатор. OLS-мінімізатор також є середнім. Тому для всіх таких розподілів вони повинні збігатися, коли лінійний функціонал пов'язаний із середнім параметром.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
джерело