Конфліктні підходи до вибору змінної: AIC, p-значення або те й інше?

Як я розумію, вибір змінних на основі p-значень (принаймні, в контексті регресії) сильно хибний. Здається, вибір змінних на основі AIC (або подібного) також вважається дефектом з деяких причин, хоча це здається трохи незрозумілим (наприклад, дивіться моє запитання та деякі посилання на цю тему тут: Що саме таке "поетапний вибір моделі"? ).

Але скажіть, що вам потрібно скористатися одним із цих двох методів, щоб вибрати найкращий набір прогнозів у вашій моделі.

Бернхем і Андерсон 2002 (Вибір моделі та мультимодельний висновок: практичний інформаційно-теоретичний підхід, стор. 83) стверджують, що не слід змішувати вибір змінної, заснованої на AIC, з тим, що базується на тестуванні гіпотез : "Тести нульових гіпотез та інформаційно-теоретичні підходи повинні не використовуються разом; вони є дуже різними парадигмами аналізу ".

З іншого боку, Zuur та ін. 2009 (Моделі змішаних ефектів із розширеннями в екології з R, стор. 541), схоже, виступає за використання AIC для того, щоб спочатку знайти оптимальну модель, а потім виконати "точну настройку", використовуючи тестування гіпотез : "Недоліком є ​​те, що АПК може бути консервативним , і вам може знадобитися застосувати точну настройку (з використанням тестування гіпотез, що закуповується з підходу до одного), як тільки АПК обрала оптимальну модель "

Ви можете бачити, як це залишає читача обох книг розгубленим щодо того, який підхід слід дотримуватися.

1) Це просто різні "табори" статистичного мислення та тема розбіжностей між статистиками? Чи один із цих підходів зараз просто "застарів", але вважався доцільним на момент написання? Або один просто неправильний з самого початку?

2) Чи існував би сценарій, у якому такий підхід був би доцільним? Наприклад, я походить з біологічного походження, де я часто намагаюся визначити, які, якщо такі є, змінні, здається, впливають на мою відповідь або викликають їх. У мене часто є ряд кандидатських пояснювальних змінних, і я намагаюся знайти, які є "важливими" (відносно). Також зауважте, що набір змінних прогнозних кандидатів вже скорочується до тих, які вважаються певними біологічними значеннями, але це все ж може включати 5-20 кандидатних провісників.

Коротка відповідь.

Підхід робити вибір даних або налаштування моделей, керованих даними , а потім використання стандартних інфекційних методів для вибраної / налаштованої моделі (à la Zuur та ін. Та багатьох інших шанованих екологів, таких як Кроулі), завжди дасть надто оптимістичні результати : надто вузька впевненість інтервали (погане покриття), занадто малі значення p (велика помилка I типу). Це тому, що стандартні інфекційні методи передбачають, що модель визначена апріорі ; вони не враховують процес настройки моделі.

Ось чому такі дослідники, як Френк Харрелл ( Regression Modeling Strategies ), сильно не схвалюють керованих даними методів вибору, таких як ступінчаста регресія, і застерігають, що потрібно робити будь-яке зменшення складності моделі ("зменшення розмірів", наприклад, обчислення PCA змінних прогноктора і вибір перших декількох осей PCA як предикторів), дивлячись лише на змінні предиктора.

Якщо ви зацікавлені лише у пошуку найкращої прогнозної моделі (і вас не цікавить якась достовірна оцінка невизначеності вашого прогнозування, яка потрапляє у сферу висновку!), То налаштування моделей, керована даними, чудово (хоча поетапний вибір рідко є найкращим доступним варіантом); алгоритми машинного навчання / статистичного навчання роблять багато налаштувань, щоб спробувати отримати найкращу модель прогнозування. Помилка "тестування" або "поза вибіркою" повинна бути оцінена на окремому витриманому зразку, або будь-які методи настройки повинні бути вбудовані в процедуру перехресної перевірки.

Думається, в думках на цю тему відбулася історична еволюція; у багатьох класичних статистичних підручниках, особливо в тих, що зосереджуються на регресії, представлені поетапні підходи, що дотримуються стандартних інфекційних процедур, без урахування ефектів вибору моделі [потрібне цитування ...]

Існує багато способів кількісної оцінки значення змінної, і не всі потрапляють у пастку вибору після змінної.

• Бернхем і Андерсон рекомендують підсумовувати ваги AIC; Існує досить багато розбіжностей щодо такого підходу.
• Ви можете підходити до повної моделі (з відповідним масштабуванням / безвіддільними прогнозами) та класифікувати прогнози за оцінною величиною [розмір біологічного ефекту] або Z-балом ["чіткість" / розмір статистичного ефекту].

Я родом з біологічного походження та найманий біостатист, працюючи в університетській лікарні. Я читав багато про це, особливо останнім часом, зокрема особливості думок Гаррела щодо веб-сайту www та його книги «Стратегії моделювання регресії». Не цитуючи його більше, а кажучи з досвіду: Це дуже пов'язане з полем, я думаю, що це перший рівень, який потрібно враховувати. Другим рівнем було б отримати хороший раціональний підхід, що означає, що ваші прогнози повинні мати основне значення, щоб висловити те, що ви хочете передбачити, науковим досвідом. Третє - це врахування взаємодій, що є надзвичайно важливим і може бути вирішене статистичним підходом або розумінням. Лише четвертий - це обраний метод, у моєму випадку з лікарняними даними, який досить часто має приблизно x * 10 ^ 3 точок даних та x * 10 ^ 1 спостережень, наприклад