Вибір моделі з логістичною регресією Фірта

У невеликому наборі даних ( ), з яким я працюю, кілька змінних дають мені ідеальний прогноз / розділення . Тому я використовую логістичну регресію Фірта для вирішення цього питання. $n\sim100$

Якщо я вибираю найкращу модель за допомогою AIC або BIC , чи слід включати Фірмовий штрафний строк у ймовірність при обчисленні цих інформаційних критеріїв?

— СтасК
джерело

Ви б проти зауважити, чому це неминуче, оскільки вибір змінних не допомагає із проблемою "занадто багато змінних, занадто малий розмір вибірки"?

— Френк Харрелл

Це так само погано, як це стає.

— Френк Харрелл

Чи розглядали ви, як вирішити цю проблему з байєсівською висновком? Четверта логістична регресія еквівалентна MAP з джеффрі. Ви можете використовувати наближене наближення для оцінки граничної ймовірності - яка є скоригованою BIC (схожою на AICc)

— ймовірністьлогічного

@user, Оскільки такі змінні зазвичай прогнозують лише кілька випадків, і це є невідтворюваним: справжня ймовірність цієї клітини може бути близькою до 90%, але, маючи в ній лише два випадки, ви отримаєте два 81% часу .

— StasK

Посилання для завантаження документа K&K (1996), знайденого в Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Алекос Пападопулос

$n \to \infty$

p_{у} (у) = \int L (θ; у) π (θ) г θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Як бічне зауваження, регрес Фірта також усуває зміщення першого порядку в експоненціальних сім'ях.

— lbelzile
джерело