Чому байєсів не дозволяють дивитися на залишків?

У статті "Дискусія: чи повинні екологи стати байєсами?" Брайан Денніс дає напрочуд врівноважений та позитивний погляд на статистику Байєса, коли його метою здається попередити людей про це. Однак в одному абзаці, без жодних цитат і виправдань, він говорить:

Байєси, бачите, не дозволяють дивитися на їх залишки. Це порушує принцип ймовірності судити про результат, наскільки він екстремальний за моделлю. Для байєсів немає поганих моделей, просто погані переконання.

Чому байєсівці не дозволять дивитися на залишків? Яке було б відповідне цитування для цього (тобто, кого він цитує)?

Денніс, Б.
Обговорення: чи повинні екологи стати байєсами?
Екологічні програми, Екологічне товариство Америки , 1996 , 6, 1095-1103

Звичайно, баєси можуть подивитися на залишків! І звичайно, в байєсівському аналізі є погані моделі. Можливо, декілька байесів у 70-х підтримували такі погляди (і я сумніваюсь у цьому), але навряд чи знайдете жодного байєсця, який би підтримував цю точку зору в наші дні.

Я не читав текст, але баєси використовують для порівняння моделей такі речі, як фактори Бейса. Насправді байєсів може навіть обчислити ймовірність того, що модель є істинною, і вибрати модель, яка є більш імовірною. Або баєсієць може порівнювати серед моделей, щоб досягти кращої моделі. Або можна використовувати задні прогнозні чеки. Варіантів для перевірки моделі є дуже багато, і кожна може надати перевагу тому чи іншому підходу, але говорити про відсутність поганих моделей в байєсівському аналізі немає сенсу.

Тож, у кращому випадку, було б доречніше сказати, що в деяких екстремальних версіях байєсіанства (екстремальних версій, які майже ніхто не використовує в застосованих налаштуваннях, до речі) вам заборонено перевіряти вашу модель. Але ніж можна сказати, що в деяких крайніх версіях частотизму вам також не дозволяється використовувати дані спостережень. Але навіщо витрачати час на обговорення цих дурних речей, коли ми можемо обговорити, якщо і коли у застосованій обстановці ми повинні використовувати байєсовські або частолістські методи чи що завгодно? Ось що важливо, на мою скромну думку.

Оновлення: ОП попросила посилання на когось, хто виступає за екстремальну версію Байєса. Оскільки я ніколи не читав жодної крайньої версії Байєса, я не можу надати цього посилання. Але я б здогадався, що Savage може бути такою відсичкою. Я ніколи не читав нічого написаного ним, тому я можу помилятися.

пс.: Поміркуйте над проблемою "добре каліброваного баєса" ( Dawid (1982), JASA , 77 , 379 ). Злагоджений суб'єктивістський байєсівський синоптик не може бути каліброваним, і тому він не перегляне його модель / прогнози, незважаючи на будь-які переважні докази того, що він некалібрований. Але я не думаю, що хтось на практиці може стверджувати, що він є таким узгодженим. Таким чином, огляд моделі є важливим.

ps2 .: Мені також подобається ця робота Ефрона . Повна довідка: Efron, Bradley (2005). "Байєси, часто відвідувачі та вчені". Журнал Американської статистичної асоціації 100 (469).

Вони можуть виглядати, але не торкатися. Зрештою, залишки є тією частиною даних, яка не містить ніякої інформації про параметри моделі, і їх попереднє висловлює всю невизначеність щодо них - вони не можуть змінити свою попередню інформацію на основі того, що вони бачать у даних.

Наприклад, припустимо, що ви підходите до моделі Гаусса, але помітите занадто багато куртозів у залишках. Можливо, ваша попередня гіпотеза мала бути t-розподілом з ненульовою ймовірністю над низькими ступенями свободи, але це не так - це був фактично t-розподіл з нульовою ймовірністю скрізь, крім нескінченних ступенів свободи. Ніщо, ймовірно, не може спричинити ненульові ймовірності щодо областей задньої щільності, де попередня щільність дорівнює нулю. Таким чином, поняття постійного оновлення пріорів, заснованих на ймовірності даних, не працює, коли попередній попередній помилково вказаний.

Звичайно, якщо ви "баєсівська перевірка моделі" від Google, ви побачите, що це пародія на фактичну байєсівську практику; все-таки це створює щось складне для аргументів типу логіки науки щодо переваги байесіанства на філософських засадах. Блог Ендрю Гельмана цікавий на цю тему.