Гессіан вірогідності профілю використовується для стандартної оцінки помилок

Це питання мотивоване цим . Я шукав два джерела, і ось що я знайшов.

A. van der Vaart, Асимптотична статистика:

Вкрай рідко можливо вирахувати вірогідність профілю, але його чисельне оцінювання часто можливо. Тоді ймовірність профілю може слугувати для зменшення розмірності функції ймовірності. Функції правдоподібності профілю часто використовуються так само, як і (звичайні) імовірнісні функції параметричних моделей. Окрім того, що їх точки максимуму приймають за оцінку , друга похідна у використовується як оцінка мінус оберненої асимптотичної матриці коваріації e. Очікується, що останні дослідження підтверджують цю практику. $\hat\theta$ $\hat\theta$

Дж. Вулдрідж, Економетричний аналіз даних перерізів та панелей (однаковий в обох виданнях):

Як пристрій для вивчення асимптотичних властивостей, сконцентрована цільова функція має обмежене значення, оскільки як правило, залежить від усіх , і в цьому випадку об'єктивна функція не може бути записана як сума незалежних, однаково розподілених сум. Одне налаштування, де рівняння (12,89) - це сукупність функцій iid, коли ми концентруємо конкретні конкретні ефекти з певних нелінійних моделей даних панелі. Крім того, сконцентрована цільова функція може бути корисною для встановлення еквівалентності, здавалося б, різних підходів до оцінки. $g(W,\beta)$ $W$

Вулдрідж обговорює цю проблему в більш широкому контексті М-оцінок, тому вона стосується і максимальних імовірностей оцінки.

Таким чином, ми отримуємо дві різні відповіді на одне і те ж питання. Чорт на мою думку - у деталях. Для деяких моделей ми можемо безпечно використовувати гессіан імовірності профілю, а для деяких - ні. Чи є якісь загальні результати, які дають умови, коли ми можемо це зробити (чи не можемо)?

— mpiktas
джерело

Здається, ці уривки взагалі не вирішують одне і те ж питання: перший стосується числового обчислення для даного набору даних, тоді як другий стосується "вивчення асимптотичних властивостей". Використання гессіанського типу - це суто математичний розгляд із типовими відвертими відповідями: див. Нашу відповідну дискусію .

— whuber

ван дер Ваарт каже, що Гессіан використовується для обчислення асимптотичної матриці коваріації. Оскільки Вулдрідж говорить, що зосереджена цільова функція не може бути використана для вивчення асимптотичних властивостей, це означає, що її гессіан (числовий) не можна використовувати для оцінки стандартних помилок. Я не забув нашого обговорення, тому беру цей уривок із зерном солі. Однак ні Ван дер Варт, ні Вулдрідж не давали жодних посилань. Перш ніж проводити велике дослідження, я просто хотів перевірити, можливо, це щось добре відоме.

— mpiktas

Відмінний момент: я якось не помітив "асимптотику" у цитаті ван дер Ваарт. Однак суперечності все ще можуть бути: Вулдрідж просто говорить, що очевидне просте виправдання (iid summands) недоступне для демонстрації того, що підхід ван дер Ваарта працює; Вулдрідж не каже, що це не працює ;-).

— whuber

@whuber, так, але він не каже, що це також працює :) Я усвідомлюю, що протиріччя може бути, я просто хочу знати, чи є певні результати.

— mpiktas

Дивіться про ймовірність профілю (SA Murphy та AW van der Vaart), jstor.org/pss/2669386

— whuber

Для деяких моделей ми можемо безпечно використовувати гессіан імовірності профілю, а для деяких - ні

На жаль, це правда на даний момент, і Unlikley змінити.

Найясніша дискусія, яку мені відомо, - це правила умовного умовиводу: чи існує універсальне визначення неформації? B Jørgensen - Статистичні методи та застосування, 1994.

А щодо деяких питань, характерних для усунення несправностей у профілі, ймовірно, Stafford, JE (1996). Надійна корекція правдоподібності профілю, Анали статистики, 24, 336-52.

— фанерон
джерело

Швидка відповідь: Це обговорюється в третій главі OE Barndorff-Nielsen & DR Cox: Висновок та асимптотика, Chapman & Hall, стор. 90, рівняння 3.31, яку вони приписують Патфілду. Вони роблять висновок, що для скалярного параметра це справедливо (вони не аналізують інших випадків).

— kjetil b halvorsen
джерело