Оцінка параметрів з узагальненими лінійними моделями

За замовчуванням, коли ми використовуємо glmфункцію в R, він використовує метод ітераційно перезавантажених найменших квадратів (IWLS), щоб знайти максимальну оцінку ймовірності параметрів. Зараз у мене два питання.

1. Чи гарантують оцінки IWLS глобальний максимум функції ймовірності? На основі останнього слайду в цій презентації, я думаю, це не так! Я просто хотів у цьому переконатися.
2. Чи можемо ми сказати, що причина першого питання в тому, що майже всі методи чисельної оптимізації можуть затримуватися на локальному, а не на глобальному максимумі?

Коли ви намагаєтеся оцінити параметри, ви завжди хочете, щоб було рішення закритої форми. Однак, це не завжди існує (я думаю, можливо, що в деяких випадках може бути такий, але це наразі невідомо). Коли рішення закритої форми не існує, слід використовувати певну евристичну стратегію для пошуку простору параметрів для найкращих можливих оцінок параметрів. Є багато таких стратегій пошуку (наприклад , в R, ? Optim списки 6 методів загального призначення). IRWLS - це спрощена версія алгоритму Ньютона-Рафсона .

На жаль, відповідь на ваш [ 1 ] полягає в тому, що жодна евристична стратегія пошуку не гарантує, щоб знайти глобальний мінімум (максимум). Є три причини, чому це так:

1. Як зазначається на слайді 9 вашої пов’язаної презентації, не існує жодного унікального рішення. Приклади цього можуть бути ідеальною мультиколінеарністю , або коли є більше параметрів, які необхідно оцінити, ніж є дані .
2. Як зазначається на слайді 10 (я вважаю, що презентація дуже гарна), рішення може бути нескінченним. Це може статися при логістичній регресії, наприклад, коли у вас ідеальна розлука .

3. Також може бути так, що існує обмежений глобальний мінімум (максимум), але алгоритм його не знаходить. Ці алгоритми (особливо IRWLS та NR), як правило, починаються з визначеного місця та "оглядаються", щоб побачити, чи рухається в якомусь напрямку - це "спуск вниз" (тобто поліпшення пристосування). Якщо так, то він знову поміститься на деякій відстані в цьому напрямку і повториться, поки здогадане / передбачуване поліпшення не стане ніж деякий поріг. Таким чином, існують два шляхи досягнення глобального мінімуму:

   1. Швидкість спуску від поточного місця до глобального мінімуму (максимум) занадто дрібна, щоб перейти поріг, і алгоритм не зупиняється на вирішенні.
   2. Існує локальний мінімум (максимум) між поточним місцем розташування та глобальним мінімумом (максимум), так що алгоритму здається, що подальший рух призведе до гіршого пристосування.

Що стосується ваших [ 2 ], майте на увазі, що різні стратегії пошуку мають різні тенденції до лову в локальних мінімумах. Навіть ту саму стратегію іноді можна адаптувати або розпочати з іншого вихідного пункту для вирішення двох останніх проблем.

Ви вірні, що загалом IWLS, як і інші методи чисельної оптимізації, може гарантувати конвергенцію лише до локального максимуму, якщо вони навіть сходяться. Ось чудовий приклад, коли початкове значення знаходилось поза доменної конвергенції для алгоритму, використовуваного glm () в Р. Однак варто зазначити, що для ГЛМ з канонічним зв’язком вірогідність є увігнутою, дивіться тут . Таким чином, якщо алгоритм конвергується, він перейшов у глобальний режим!

Останнє питання, на яке вказували слайд, - це проблема, коли MLE для параметра знаходиться в нескінченності. Це може статися при логістичній регресії там, де існує повне розділення. У такому випадку ви отримаєте попереджувальне повідомлення про те, що встановлені ймовірності чисельно дорівнюють 0 або 1. Важливо зауважити, що коли це відбувається, алгоритм не перейшов у режим, тому це не пов'язане з тим, що алгоритм є застряг у місцевому максимумі.