Чи є норма MLE асимптотично нормальною та ефективною, навіть якщо модель не відповідає дійсності?

Приміщення: це може бути дурним питанням. Я знаю лише твердження про асимптотичні властивості MLE, але я ніколи не вивчав докази. Якби я це зробив, можливо, я б не задавав цих питань, або, можливо, я зрозумів би, що ці питання не мають сенсу ... тому, будь ласка, просто на мене :)

Я часто бачив твердження, які говорять про те, що оцінка MLE параметрів моделі є асимптотично нормальним і ефективним. Заява зазвичай пишеться як

N→$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ як$N\to\infty$

де - кількість зразків, - інформація про Фішера, а - справжнє значення параметра (вектор) . Тепер, оскільки є посилання на справжню модель, чи означає це, що результат не буде мати значення, якщо модель не відповідає дійсності?$N$$\mathbf{I}$$\theta_0$

Приклад: припустимо, я моделюю потужність від вітрової турбіни як функцію швидкості вітру плюс додаткового гауссового шуму$P$$V$

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

Я знаю, що модель помилкова, принаймні з двох причин: 1) дійсно пропорційна третій потужності і 2) помилка не є додатковою, тому що я знехтував іншими прогнозами, які не співвідносяться зі швидкістю вітру (я також знаю що має бути 0, оскільки при 0 швидкості вітру не виробляється енергія, але це не актуально тут). Тепер, припустимо, я маю нескінченну базу даних про потужність і швидкість вітру від моєї вітрогенератора. Я можу намалювати стільки бажаних зразків, будь-якого розміру. Припустимо, я малюю 1000 зразків, кожен розміром 100, і обчислюю \ hat {\ boldsymbol {\ beta}} _ {100} , оцінка MLE \ boldsymbol {\ beta} = (\ beta_0, \ beta_1, \ beta_2)V β $P$$V$$\beta_0$$\hat{\boldsymbol{\beta}}_{100}$$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$(що за моєю моделлю було б просто оцінкою OLS). Таким чином, у мене є 1000 зразків з розподілу $\hat{\boldsymbol{\beta}}_{100}$ . Я можу повторити вправу з $N=500,1000,1500,\dots$ . Як $N\to\infty$ , чи має розподіл $\hat{\boldsymbol{\beta}}_{N}$ бути асимптотично нормальним, із заявленим середнім значенням та дисперсією? Або той факт, що модель неправильна, недійсний цей результат?

Причина, про яку я питаю, полягає в тому, що рідко (якщо і взагалі) модель є "справжньою" в додатках. Якщо асимптотичні властивості MLE втрачаються, коли модель не відповідає дійсності, можливо, має сенс використовувати різні принципи оцінювання, які, хоча і менш потужні в налаштуваннях, де модель правильна, в інших випадках можуть працювати краще, ніж MLE.

EDIT : в коментарях зазначалося, що поняття справжньої моделі може бути проблематичним. Я мав на увазі таке визначення: з урахуванням сімейства моделей позначеного вектором параметрів , для кожної моделі в сім'ї завжди можна написати $f_{\boldsymbol{\theta}}(x)$$\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

просто визначивши як . Однак, як правило, помилка не буде ортогональною для , має середнє значення 0, і не обов'язково передбачатиметься розподіл при виведенні моделі. Якщо існує значення таке, що має ці два властивості, а також припущений розподіл, я б сказав, що модель є правдою. Я думаю, що це безпосередньо пов'язано з тим, що , оскільки термін помилки при розкладанні$\epsilon$$Y-f_{\boldsymbol{\theta}}(X)$$X$$\boldsymbol{\theta_0}$$\epsilon$$f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

має дві властивості, згадані вище.

Я не вірю, що на це питання є однозначна відповідь.

Коли ми розглядаємо можливу неправильну розподіл при застосуванні максимальної оцінки ймовірності, ми отримуємо те, що називається оцінкою «Квазі-Максимальна ймовірність» (QMLE). У деяких випадках QMLE одночасно і послідовно, і асимптотично.

Те, що він втрачає з певністю, - це асимптотична ефективність. Це тому, що асимптотична дисперсія (це величина, яка має асимптотичний розподіл, а не просто ), у всіх випадках,$\sqrt n (\hat \theta - \theta)$$\hat \theta$

де - матриця Гессія вірогідності логарифмів і - градієнт, а шапка вказує вибіркові оцінки.$H$$S$

Тепер, якщо ми маємо правильну специфікацію, ми отримуємо, по-перше, це

де підрозділ " " позначає оцінку за справжніми параметрами (і зауважимо, що середній термін - це визначення інформації Фішера), а по-друге, що " рівність інформаційної матриці " має місце і говорить, що , що означає, що асимптотична дисперсія нарешті буде$0$$-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

що є зворотною інформацією про Фішера.

Але якщо ми маємо неправильну специфікацію, вираз не призводить до вираження (тому що перша та друга похідні в були виведені на основі неправильної ймовірності). Це в свою чергу означає, що нерівність інформаційної матриці не дотримується, що ми не закінчуємося в виразі , і що (Q) MLE не досягає повної асимптотичної ефективності.$(1)$$(2)$$(1)$$(3)$