Чому ми робимо велику метушню з приводу використання балів Fisher, коли ми підходимо до GLM?

Мені цікаво, чому ми ставимося до встановлення GLMS як до якоїсь особливої ​​проблеми оптимізації. Чи вони? Мені здається, що вони просто максимальна ймовірність, і ми записуємо ймовірність, а потім ... ми її максимально збільшуємо! То чому ми використовуємо бал Фішера замість будь-якої безлічі схем оптимізації, розроблених у прикладній математичній літературі?

Оцінка Фішера - це лише версія методу Ньютона, яка, імовірно, ототожнюється з GLM, в цьому немає нічого особливого, окрім того, що інформаційну матрицю Фішера буває досить легко знайти для випадкових змінних у експоненціальній сім'ї. Він також пов'язаний з багатьма іншими математичними матеріалами, які, як правило, виходять приблизно в той же час, і дає приємну геометричну інтуїцію щодо того, що саме означає інформація Фішера.

Не існує жодної причини, по якій я можу подумати про те, щоб не використовувати якийсь інший оптимізатор, якщо ви хочете, крім того, що вам, можливо, доведеться кодувати його вручну, а не використовувати вже існуючий пакет. Я підозрюю, що будь-який сильний акцент на оцінці Фішера - це поєднання (в порядку зменшення ваги) педагогіки, простоти виведення, історичної упередженості та синдрому "не придуманого тут".

Це і історичний, і прагматичний характер; GLM-схеми з реверсивною технологією Nelder та Wedderburn - це сукупність моделей, де можна знайти MLE за допомогою балів Fisher (тобто Iteratively ReWeighted Least Squares). Алгоритм вийшов перед моделями, принаймні в загальному випадку.

Варто також пам’ятати, що IWLS - це те, що вони були доступні ще на початку 70-х, тому GLM були важливим класом моделей, про які слід знати. Те, що можна максимально надійно збільшити ймовірність GLM, використовуючи алгоритми типу Ньютона (вони, як правило, мають унікальні MLE), також означало, що такі програми, як GLIM, можуть використовуватися тими, хто не має навичок чисельної оптимізації.