Висновок у лінійній моделі з умовною гетерокедастичністю

Припустимо, я спостерігаю незалежні вектори змінних і і залежну змінну . Я хотів би помістити модель форми: де - деяка додатна величина у два рази диференційована функція, - невідомий параметр масштабування, а - нульова середня, одинична дисперсія гауссова випадкова величина (вважається незалежною від і ). Це по суті встановлення тесту Коенкера на гетероскедастичність (принаймні, наскільки я це розумію).$\vec{x}$$\vec{z}$$y$

$$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$$ $g$$\sigma$$\epsilon$$\vec{x}$$\vec{z}$

У мене є спостережень і , і я хотів би оцінити і . Однак у мене є кілька проблем:$n$$\vec{x}, \vec{z}$$y$$\vec{\beta_1}$$\vec{\beta_2}$

1. Я не впевнений, як поставити задачу оцінки як щось на зразок найменших квадратів (я припускаю, що є відомий трюк). Першим моїм здогадком стане щось на зразок але я я не впевнений, як це вирішити чисельно (можливо, це може зробити ітеративний метод квазі-Ньютона). $$min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$$
2. Припускаючи, що я можу поставити проблему обгрунтовано і знайти деякі оцінки , я хотів би знати розподіл оцінок, щоб, наприклад, я міг виконувати тести на гіпотези. Мені б добре було тестувати два вектори коефіцієнта окремо, але я вважаю за краще якийсь спосіб перевірити, наприклад, для заданих .$\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$$\vec{w_1}, \vec{w_2}, c$

У кілька більш загальному контексті з - мірний вектор -observations (відповідей, або залежні змінні),$Y$$n$$y$$X$$n \times p$ матриця$x$-спостереження (коваріати або залежні змінні) та $\theta = (\beta_1, \beta_2, \sigma)$ параметри такі, що $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$ то ймовірність мінус-журналу є

$$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$$ У питанні ОП: $\Sigma(\beta_2, \sigma)$ діагональна з $$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$$ тому визначальним стає $\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ і результуючий мінус-log-вірогідність стає $$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$$ Існує кілька способів наблизитись до мінімізації цієї функції (якщо припустимо, що три параметри не залежать від варіантів).

• Можна спробувати звести до мінімуму функцію за допомогою стандартного алгоритму оптимізації, запам'ятовуючи це обмеження $\sigma > 0$.
• Ви можете обчислити профіль мінус-імовірність імовірності $(\beta_1, \beta_2)$ шляхом мінімізації над $\sigma$ для фіксованих $(\beta_1, \beta_2)$, а потім підключіть отриману функцію до стандартного алгоритму необмеженої оптимізації.
• Ви можете чергувати оптимізацію для кожного з трьох параметрів окремо. Оптимізація понад$\sigma$ можна зробити аналітично, оптимізуючи $\beta_1$ - проблема зваженого найменшого зваженого квадрату та її оптимізація $\beta_2$ еквівалентно встановленню лінійної моделі, узагальненої гаммою $g^2$ зворотна ланка.

Остання пропозиція мені подобається, оскільки вона ґрунтується на рішеннях, які я вже добре знаю. Крім того, перша ітерація - це те, що я все-таки вважаю за потрібне. Тобто спочатку обчисліть початкову оцінку$\beta_1$ звичайними найменшими квадратами, ігноруючи потенційну гетерокедастичність, а потім прилаштувати гамма-glm до залишків у квадраті, щоб отримати початкову оцінку $\beta_2$ $-$просто перевірити, чи здається, що більш складна модель коштує. Ітерації, що включають гетерокедастичність у рішення з найменшими квадратами, оскільки ваги можуть покращитись після оцінки.

Що стосується другої частини питання, я, мабуть, розглянути можливість обчислення довірчого інтервалу для лінійної комбінації $w_1^T\beta_1 + w_2^T\beta_2$ або за допомогою стандартної асимптотики MLE (перевірка за допомогою симуляцій, що працює асимптотика), або шляхом завантаження.

Змінити: Під стандартною асимптотикою MLE я маю на увазі використання багатоваріантного нормального наближення до розподілу MLE з коваріаційною матрицею зворотної інформації Фішера. Інформація Фішера - це визначення матриці коваріації градієнта$l$. Це взагалі залежить від параметрів. Якщо ви можете знайти аналітичний вираз для цієї кількості, ви можете спробувати підключити MLE. В якості альтернативи, ви можете оцінити інформацію про Фішера за спостереженою інформацією Фішера, яка є гессіанською$l$в MLE. Ваш цікавий параметр - це лінійна комбінація параметрів у двох$\beta$-вектори, отже з наближеної багатоваріантної норми MLE можна знайти нормальне наближення розподілу оцінок, як описано тут . Це дає приблизну стандартну помилку, і ви можете обчислити довірчі інтервали. Це добре описано у багатьох (математичних) книгах зі статистикою, але досить доступною презентацією я можу порекомендувати " По всій вірогідності " Юді Павітана. У будь-якому разі формальне виведення асимптотичної теорії є досить складним і покладається на ряд умов регулярності, і це дає лише дійсні асимптотичнідистрибуції. Отже, якщо ви сумніваєтесь, я б завжди робив якісь симуляції з новою моделлю, щоб перевірити, чи можу я довіряти результатам за реалістичними параметрами та розмірами вибірки. Проста, непараметрична завантажувальна програма, де ви пробите трійки$(y_i,x_i,z_i)$ зі спостережуваного набору даних із заміною може бути корисною альтернативою, якщо процедура встановлення не занадто трудомістка.