Шукаю теоретичне розуміння Фірмової логістичної регресії

Я намагаюся зрозуміти Фіртова логістичну регресію (метод управління ідеальним / повним або квазіповним розділенням у логістичній регресії), щоб я міг пояснити це іншим у спрощених термінах. Хто-небудь має занедбане пояснення того, яку модифікацію оцінку Ферта вносить у MLE?

Я прочитав, як тільки міг, Ферта (1993) і розумію, що до функції оцінки застосовується корекція. Я нечіткий щодо походження та обґрунтування виправлення та того, яку роль відіграє функція оцінки в MLE.

Вибачте, якщо це рудиментарні знання. Література, яку я переглядала, здається, вимагає набагато глибшого розуміння MLE, ніж я володію.

logistic maximum-likelihood separation

— ESmith5988
джерело

Виправлення Фірта рівнозначне визначенню Джефрі попереднього та пошуку режиму заднього розподілу. Приблизно це додає половину спостереження до набору даних, припускаючи, що справжні значення параметрів регресії дорівнюють нулю.

Папір Ферта є прикладом асимптотики вищого порядку. Нульовий порядок, так би мовити, забезпечується законами великих чисел: у великих зразках де - справжнє значення. Можливо, ви дізналися, що MLE асимптотично нормальні, приблизно тому, що вони засновані на нелінійних перетвореннях сум iid змінних (балів). Це наближення першого порядку: де - це нормальна змінна з нульовим середнім значенням та дисперсією (або матриця var-cov), яка є оберненою інформацією Фішера для одного спостереження. Статистика тесту на коефіцієнт ймовірності потім асимптотично $\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ або як би не було багатовимірне розширення на внутрішні добутки та матриці зворотної коваріації.

Асимптотика вищого порядку намагається дізнатися щось про наступний доданок , як правило, дражнивши наступний член . Таким чином, оцінки та статистика тестів можуть включати невеликі вибіркові ухили порядку (якщо ви бачите документ, у якому сказано, що "ми маємо об'єктивні MLE", ці люди, ймовірно, не знають, про що говорять). Найвідомішою корекцією подібного роду є корекція Бартлетта для тестів коефіцієнта ймовірності. Виправлення Фірта також є таким порядком: він додає вірогідності фіксовану кількість (верх. Стор. 30), а у великих зразках відносний внесок цієї кількості зникає зі швидкістю з карликом за вибірковою інформацією. $o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— СтасК
джерело

Вибачте за моє нерозуміння, але я не повністю дотримуюся. Коли ви говорите "Приблизно, це додає половину спостереження до набору даних, припускаючи, що справжні значення параметрів регресії дорівнюють нулю". Чому ви вважаєте, що справжні значення параметрів регресії дорівнюють нулю? Крім того, як додавати половину спостереження до набору даних?

— ESmith5988

З решти ваших пояснень, схоже, функція вірогідності регулюється фіксованою кількістю, що зменшує позитивне зміщення невеликих проб. Фіксована кількість фактично є функцією інформації, яка виходить на нуль, оскільки розмір вибірки збільшується, правда?

— ESmith5988

На ваш перший коментар - Корекція виправлення - це приблизно очікувана цінність внеску в ймовірність, яку додали б спостереження, які мали б ефективну вагу 1/2. Це аж ніяк не правильне пояснення, не кажучи вже про інтуїцію, чому ви хочете це зробити; це просто надає вам аромат. Ви встановлюєте коефіцієнти на нуль, тому що ви не маєте кращого уявлення про те, якими будуть числа (а нульові коефіцієнти добре відповідають ефекту регресорів, що має сенс більшу частину часу). На ваш другий коментар - правильно.

— Стаск