Про Джорджа Бокса, Галіта Шмулі та науковий метод?

(Це питання може здатися, що він краще підходить для філософії SE. Я сподіваюся, що статистики зможуть роз'яснити мої помилки щодо тверджень Бокса та Шмуелі, отже, я їх розміщую тут).

Джордж Бокс (про славу ARIMA) сказав:

"Усі моделі помиляються, але деякі корисні."

Галіт Шмулі у своїй знаменитій статті "Пояснити або передбачити" стверджує (і цитує інших, хто з нею згоден), що:

Пояснення та прогнозування - це не те саме, і що деякі моделі роблять хорошу роботу з поясненням, хоча вони і погано працюють при прогнозуванні.

Я відчуваю, що ці принципи якимось чином суперечать.

Якщо модель не прогнозує добре, чи корисна вона?

Що ще важливіше, якщо модель добре пояснює (але не обов'язково прогнозує добре), то вона повинна бути правдою (тобто не помилкою) в тій чи іншій мірі. То як ця сітка з Box "усі моделі помиляються"?

Нарешті, якщо модель добре пояснює, але не прогнозує добре, як це навіть науково? Більшість критеріїв наукової демаркації (верифікація, фальсифікація тощо) свідчать про те, що наукове твердження повинно мати прогностичну силу або розмовно: Теорія чи модель є правильною лише тоді, коли вона може бути емпірично перевірена (або підроблена), що означає, що вона має передбачити майбутні результати.

Мої запитання:

• Чи заява Бокса та ідеї Шмуелі дійсно суперечливі, чи я щось пропускаю, наприклад, чи може модель ще не мати передбачувальну силу, але все ще може бути корисною?
• Якщо висловлювання Бокса і Шмуелі не суперечать один одному, то що означає, що модель помиляється і не прогнозує добре, але все ще має пояснювальну силу? По-іншому: якщо забирати і правильність, і здатність прогнозування, що залишилося від моделі?

Які емпіричні валідації можливі, коли модель має пояснювальну силу, але не прогностичну силу? Шмуелі згадує такі речі: використовуйте AIC для пояснення, а BIC - для прогнозування тощо, але я не бачу, як це вирішує проблему. Для прогнозних моделей ви можете використовувати AIC, або BIC, або $R^2$ , або $L1$ регуляризацію тощо, але в кінцевому підсумку вибірка випробувань та продуктивність у виробництві - це те, що визначає якість моделі. Але для моделей, які добре пояснюють, я не бачу, як будь-яка функція втрат може справді оцінити модель. У філософії науки існує поняття недовизначеннящо здається доречним тут: Для будь-якого даного набору даних завжди можна з розумом вибрати деякий розподіл (або суміш розподілів) і функцію втрати $L$ таким чином, щоб вони відповідали даним (і тому можна стверджувати, що це пояснюють). Більше того, поріг, за яким повинен бути $L$ для того, щоб хтось стверджував, що модель адекватно пояснює дані, є довільними (на кшталт p-значень, чому це $p < 0.05$ а не $p < 0.1$ або $p < 0.01$ ?).

• Виходячи з вищесказаного, як можна об'єктивно підтвердити модель, яка добре пояснює, але не прогнозує добре, оскільки тестування зразка неможливе?

Дозвольте розпочати з жалюгідної цитати Джорджа Бокса, що "всі моделі неправильні, але деякі корисні". Це твердження - це інкапсуляція методологічного підходу "позитивізму", який є філософським підходом, який має високий вплив у науках. Цей підхід детально описано (в контексті економічної теорії) у класичному методологічному нарисі Фрідмана (1966) . У цьому есе Фрідман стверджує, що будь-яка корисна наукова теорія обов'язково являє собою спрощення реальності, і тому її припущення завжди повинні певною мірою відходити від реальності і навіть можуть суттєво відходити від реальності.у зменшенні складності світу до керованого набору принципів та його точності в прогнозуванні реальності та генерування нових перевіряються гіпотез про реальність. Таким чином, Фрідман стверджує, що "всі моделі помиляються", оскільки всі вони містять припущення, які спрощують (і тому відходять від) реальності, але що "деякі є корисними", якщо вони дають просту основу для корисних прогнозів щодо реальності.

Тепер, якщо ви прочитаєте Box (1976) (стаття, де він вперше стверджує, що "всі моделі неправильні"), ви побачите, що він не цитує Фрідмана, а також не згадує про методологічний позитивізм. Тим не менш, його пояснення наукового методу та його характеристик надзвичайно близьке до того, яке розробив Фрідман. Зокрема, обидва автори підкреслюють, що наукова теорія зробить передбачення щодо реальності, яку можна перевірити на спостережуваних фактах, і помилка в передбаченні може бути використана як основа для перегляду теорії.

Тепер, про дихотомію, яку обговорював Галіт Шмулі в " Шмулі" (2001) . У цій роботі Шмуелі порівнює причинно-наслідкове пояснення та прогнозування спостережуваних результатів і стверджує, що це різні види діяльності. Зокрема, вона стверджує, що причинно-наслідкові зв'язки ґрунтуються на основоположних конструкціях, які не виявляються безпосередньо в вимірюваних результатах, і тому "вимірювані дані не є точними уявленнями про їх основні конструкції" (с. 293). Тому вона стверджує, що існує аспект статистичного аналізу, який передбачає висновки про непомітні основні причинно-наслідкові зв'язки, які не виявляються в вимірюваних протилежних відмінностях результатів.

Якщо я щось не розумію, я вважаю, що справедливо сказати, що ця ідея знаходиться в напрузі з позитивістськими поглядами Бокса і Фрідмана, як це представлено у цитаті Box. Позитивістська точка зору, по суті, говорить про те, що немає допустимих метафізичних «конструкцій», крім тих, що виявляються в вимірюваних результатах. Позитивізм обмежується врахуванням даних, що спостерігаються, та концепцій, побудованих на цих даних; це виключає розгляд апріоріметафізичні поняття. Таким чином, позитивіст стверджує, що поняття причинності може бути справедливим лише в тій мірі, в якій вона визначається з точки зору вимірюваних результатів насправді --- настільки, наскільки вона визначається як щось відмінне від цього (як Шмуелі трактує це), це було б розцінено як метафізична спекуляція і вважатиметься неприйнятною у науковому дискурсі.

Тож я думаю, ви праві - ці два підходи по суті конфліктують. Позитивістський підхід, застосований Боксом, наполягає на тому, що діючі наукові концепції цілком повинні ґрунтуватися на їх проявах у дійсності, тоді як альтернативний підхід, який застосовує Шмуелі, говорить про те, що існують деякі "конструкції", які є важливими науковими концепціями (які ми хочемо пояснити), але які не можуть бути ідеально представленими, коли вони "оперуються", пов'язуючи їх з вимірюваними результатами в реальності.

Модель, коли використовується для пояснення речей, - це спрощення реальності. Спрощення - це ще одне слово для "неправильного в якийсь корисний спосіб". Наприклад, якщо ми округлимо число від 3,1415926535898 до 3,14, ми робимо помилку, але ця помилка дозволяє нам людям зосередитись на найбільш важливій частині цього числа. Ось як використовуються моделі при поясненні, вони дають уявлення про певну проблему, але за необхідності потрібно абстрагуватися від багатьох інших речей: Ми, люди, просто не дуже добре дивимось на тисячі речей одночасно. Якщо ми в першу чергу дбаємо про те, щоб передбачити, ми хочемо включити ці тисячі речей, коли це можливо, але пояснення компромісу - це інше.

Приклад моделі, яка є чудовою для прогнозування, але нічого не пояснює, наведена у статті Вікіпедії « Усі моделі неправильні ». Прикладом є модель гравітації Ньютона. Модель Ньютона майже завжди дає прогнози, які не відрізняються від емпіричних спостережень. І все ж модель є надзвичайно неправдоподібною: вона постулює силу, яка може діяти миттєво на довільно великі відстані.

Модель Ньютона була витіснена моделлю, наведеною в загальній теорії відносності Ейнштейна. При загальній відносності гравітаційні сили рухаються через простір з кінцевою швидкістю (швидкістю світла).

Модель Ньютона не є спрощенням загальнорелятивістської моделі. Щоб проілюструвати це, розгляньте яблуко, що падає з дерева. Згідно загальної відносності, яблуко падає без Землі, не чинячи на це жодної сили. (Основна причина того, що яблуко падає, полягає в тому, що Земля вигрібає час, так що годинники біля основи дерева бігають повільніше, ніж годинники високо вгору на дереві.) Таким чином, як зазначається у статті Вікіпедії, модель Ньютона абсолютно неправильна від пояснювальної перспектива.

У статті Шмуелі [2010] передбачається, що для моделі є дві цілі: передбачення та пояснення. Насправді кілька авторів заявили, що три цілі (див., Наприклад, Konishi & Kitagawa [ Інформаційні критерії та статистичне моделювання , 2008: §1.1] та Friendly & Meyer [ Дискретний аналіз даних , 2016: §11.6]). Ці три цілі відповідають трьом видам логічних міркувань:

• прогнозування (відповідає відрахуванню);
• оцінка параметрів (відповідає індукції);
• опис структури (відповідно до викрадення).

Я бакалавр статистики, тому я не буду називати себе експертом, але ось два мої центи.

Моделі не пояснюють себе; люди їх інтерпретують. Лінійні моделі легше зрозуміти, ніж нейронні мережі та випадкові ліси, оскільки вони ближче до того, як ми приймаємо рішення. Дійсно, ANN імітують людський мозок, але ви не вирішите, в який ресторан поїхати завтра, зробивши серію множин матриць. Натомість, ви зважуєте деякі фактори у своїй свідомості за їх важливістю, що по суті є лінійною комбінацією.

"Пояснювальна сила" вимірює, наскільки добре модель поєднується з інтуїцією людини, тоді як "прогностична сила" вимірює те, наскільки вона добре узгоджується з основним механізмом процесу, який цікавить. Суперечність між ними - це, по суті, розрив між тим, що є світом, і тим, як ми можемо сприймати / розуміти його. Я сподіваюся, що це пояснює, чому "деякі моделі роблять хорошу роботу з поясненням, хоча вони і погано працюють при прогнозуванні".

Ян Стюарт одного разу сказав: "Якби наші мізки були досить простими, щоб ми їх зрозуміли, ми були б настільки простими, що не змогли б". На жаль, наші маленькі людські мізки насправді дуже прості в порівнянні з Всесвітом, або навіть фондовим ринком (який передбачає багато мізків :). На сьогоднішній день всі моделі є продуктами людського мозку, тому вони повинні бути більш-менш неточними, що призводить до того, що Box "Усі моделі неправильні". З іншого боку, модель не повинна бути технічно правильною, щоб бути корисною. Наприклад, закони руху Ньютона були спростовані Ейнштейном, але він залишається корисним, коли об'єкт не є смішно великим чи швидким.

Щоб вирішити ваше запитання, я, чесно кажучи, не бачу несумісності між пунктами Box і Шмуелі. Здається, ви вважаєте, що "пояснювальна сила" та "сила прогнозування" є біноміальними властивостями, але я думаю, що вони сидять на двох кінцях спектру.