Практичні думки щодо пояснювального та прогнозного моделювання

Ще в квітні я взяв участь у бесіді на семінарі семінарів групи статистики відділу математики UMD під назвою "Пояснити чи передбачити?". З доповіддю виступив професор Галіт Шмулі, який викладає в Смітській бізнес-школі UMD. Її розмова ґрунтувалася на дослідженні, яке вона зробила для статті під назвою "Прогнозне проти пояснювального моделювання в дослідженнях ІС" та подальшої робочої роботи під назвою "Пояснити чи передбачити?" .

Аргумент доктора Шмуелі полягає в тому, що терміни прогнозування та пояснення в контексті статистичного моделювання заплуталися, і що статистичній літературі не вистачає ґрунтовного обговорення відмінностей. У статті вона протиставляє обом і розповідає про їх практичні наслідки. Я закликаю вас прочитати статті.

Питання, які я хотів би поставити перед практикуючим спільнотою:

• Як ви визначаєте передбачувану вправу проти пояснювальної / описової? Було б корисно, якби ви могли поговорити про конкретну програму.
• Ви коли-небудь потрапляли в пастку вживання одного, коли має намір використовувати інше? Я, звичайно, маю. Як ви знаєте, який з них використовувати?

В одному реченні

Прогностичне моделювання - це "те, що може статися?", Тоді як пояснювальне моделювання - це "що ми можемо з цим зробити?"

У багатьох реченнях

Я думаю, що головна відмінність полягає в тому, що планується зробити з аналізом. Я б сказав, що пояснення є набагато важливішим для втручання, ніж прогнозування. Якщо ви хочете зробити щось, щоб змінити результат, то вам найкраще було б шукати, щоб пояснити, чому це так. Пояснювальне моделювання, якщо це зроблено добре, підкаже, як втрутитися (який вхід слід скорегувати). Однак, якщо ви просто хочете зрозуміти, яким буде майбутнє, без будь-якого наміру (чи здатності) втручатися, то прогнозне моделювання скоріше буде доречним.

Як неймовірно нещільний приклад, використовуючи "дані про рак".

Прогностичне моделювання з використанням "даних про рак" було б доречним (або принаймні корисним), якби ви фінансували онкологічних відділень різних лікарень. Вам не потрібно пояснювати, чому люди захворіли на рак, а вам потрібна лише точна оцінка того, скільки послуг буде потрібно. Пояснювальне моделювання тут, мабуть, мало би допомогло. Наприклад, знаючи, що куріння призводить до підвищеного ризику раку, самостійно не говорить про те, чи варто надавати більше фінансів підопічному А чи підопічному B.

Пояснювальне моделювання "даних про рак" було б доречним, якби ви хотіли знизити національний рівень раку - прогнозне моделювання тут було б досить застарілим. Здатність точно прогнозувати рівень раку навряд чи допоможе вам вирішити, як зменшити його. Однак, знаючи, що куріння призводить до підвищеного ризику раку, є цінною інформацією - адже якщо ви знизите рівень куріння (наприклад, зробивши дорожче сигарет), це призводить до більшої кількості людей з меншим ризиком, що (сподіваємось) призводить до очікуваного зниження рівня раку ставки.

Дивлячись на проблему таким чином, я думаю, що пояснювальне моделювання в основному зосередиться на змінних, які безпосередньо чи опосередковано контролюють користувача. Можливо, буде необхідність збирати інші змінні, але якщо ви не можете змінити будь-яку зі змінних в аналізі, я сумніваюся, що пояснювальне моделювання буде корисним, окрім можливо, щоб дати вам бажання отримати контроль чи вплив над цими змінними. які важливі. Передбачувальне моделювання, грубо, просто шукає асоціації між змінними, незалежно від того, контролюється користувачем чи ні. Вам потрібно знати лише вхідні дані / особливості / незалежні змінні / тощо .., щоб зробити прогноз, але вам потрібно мати можливість змінювати або впливати на входи / функції / незалежні змінні / тощо .., щоб втрутитися та змінити результат .

На мій погляд, відмінності такі:

Пояснювальні / описові

Коли ми шукаємо пояснювальну / описову відповідь, основний акцент робиться на даних, які ми маємо, і ми прагнемо виявити основні взаємозв'язки між даними після того, як було враховано шум.

Приклад: чи правда, що регулярні заняття спортом (скажімо, 30 хвилин на день) призводять до зниження артеріального тиску? Щоб відповісти на це запитання, ми можемо збирати дані від пацієнтів про режим їх вправ та значення їх артеріального тиску з часом. Мета полягає в тому, щоб зрозуміти, чи можна пояснити коливання артеріального тиску різницею режиму фізичних вправ.

На кров'яний тиск впливає не тільки фізичне навантаження через велику кількість інших факторів, а також, наприклад, кількість натрію, яку людина з'їдає і т.д. кров'яний тиск.

Прогнозування

Роблячи передбачувальну вправу, ми екстраполюємось у невідоме, використовуючи відомі зв’язки між даними, які ми маємо під рукою. Відомий взаємозв'язок може випливати з пояснювального / описового аналізу чи іншої техніки.

Приклад: Якщо я займаюся фізичними вправами 1 годину на день, наскільки може знизитися артеріальний тиск? Щоб відповісти на це запитання, ми можемо використовувати раніше виявлений зв’язок між артеріальним тиском та режимом фізичних вправ для виконання прогнозу.

У наведеному вище контексті акцент не робиться на поясненні, хоча пояснювальна модель може допомогти в процесі передбачення. Існують також не пояснювальні підходи (наприклад, нейронні мережі), які добре передбачати невідоме, не обов'язково додаючи до наших знань про природу базових відносин між змінними.

Одне практичне питання, яке виникає тут, - це вибір змін у моделюванні. Змінна може бути важливою пояснювальною змінною (наприклад, є статистично значущою), але може не бути корисною для прогнозних цілей (тобто її включення до моделі призводить до гіршої точності прогнозування). Цю помилку я бачу майже щодня в опублікованих роботах.

Ще одна відмінність полягає у розмежуванні аналізу основних компонентів та факторного аналізу. PCA часто використовується в прогнозуванні, але не настільки корисний для пояснення. FA передбачає додатковий крок обертання, який робиться для поліпшення інтерпретації (і, отже, пояснення). Сьогодні в блозі Галіта Шмулі є приємний пост про це .

Оновлення: третій випадок виникає у часових рядах, коли змінна може бути важливою пояснювальною змінною, але вона просто недоступна для майбутнього. Наприклад, позики на житло можуть бути сильно пов'язані з ВВП, але це не дуже корисно для прогнозування майбутніх позик на житло, якщо ми також не маємо хороших прогнозів ВВП.

Хоча деяким людям найлегше думати про розмежування з точки зору використовуваної моделі / алгоритму (наприклад, нейронні мережі = прогнозованість), це лише один конкретний аспект розрізнення / прогнозування. Ось колодка слайдів, яку я використовую в своєму курсі обміну даними, щоб викладати лінійну регресію з обох кутів. Навіть при одній лише лінійній регресії та на цьому крихітному прикладі виникають різні проблеми, які призводять до різних моделей пояснювальних та прогнозних цілей (вибір змінних, вибір змінних, заходи ефективності тощо)

Галіт

Приклад: Класичний приклад, який я бачив, знаходиться в контексті прогнозування працездатності людини. Самоефективність (тобто ступінь, на який людина думає, що вона може добре виконати завдання) часто є сильним провісником виконання завдань. Таким чином, якщо ви покладете самоефективність на багаторазову регресію разом з іншими змінними, такими як інтелект та ступінь попереднього досвіду, ви часто виявляєте, що самоефективність є сильним провісником.

Це змусило деяких дослідників припустити, що самоефективність викликає виконання завдання. І що ефективні втручання - це ті, які зосереджені на підвищенні почуття людини у власній ефективності.

Однак альтернативна теоретична модель бачить самоефективність значною мірою як наслідок виконання завдання. Тобто, якщо ти хороший, ти це знатимеш. У цій рамках втручання повинно зосереджуватися на підвищенні фактичної компетентності, а не на сприйнятій компетенції.

Таким чином, включення такої змінної, як самоефективність, може збільшити прогноз, але якщо припустити, що ви приймаєте модель самоефективності як наслідок, вона не повинна включатися в якості предиктора, якщо метою моделі є з'ясування причинно-наслідкових процесів, що впливають на продуктивність.

Це, звичайно, ставить питання про те, як розробити та затвердити причинно-теоретичну модель. Це чітко спирається на багаторазові дослідження, в ідеалі з експериментальними маніпуляціями та цілісним аргументом щодо динамічних процесів.

Проксимальний та дистальний : Я бачив подібні проблеми, коли дослідників цікавлять наслідки дистальних та проксимальних причин. Проксимальні причини, як правило, прогнозують краще, ніж дистальні причини. Однак теоретичний інтерес може бути у розумінні способів дії дистальних та проксимальних причин.

Проблема варіативного відбору: Нарешті, величезна проблема у суспільствознавчих дослідженнях - це питання змінного відбору. У будь-якому дослідженні існує нескінченна кількість змінних, які можна було б виміряти, але цього не було. Таким чином, інтерпретація моделей повинна враховувати наслідки цього при здійсненні теоретичних інтерпретацій.

Статистичне моделювання: дві культури (2001) Л. Бреймана - це, мабуть, найкращий документ з цього приводу. Основні його висновки (див. Також відповіді інших видатних статистиків у кінці документа) такі:

• "Більш висока точність прогнозування пов'язана з більш надійною інформацією про базовий механізм даних. Слабка точність прогнозування може призвести до сумнівних висновків".
• "Алгоритмічні моделі можуть дати кращу точність прогнозування, ніж моделі даних, та надати кращу інформацію про базовий механізм."

Я не читав її роботу за межами реферату зв'язаного документа, але я відчуваю, що відмінність між "поясненням" та "передбаченням" слід викинути і замінити різницею між цілями практикуючого, які є або " причинно-наслідковий »або« прогнозний ». Взагалі, я думаю, що "пояснення" - це таке невиразне слово, що воно майже нічого не означає. Наприклад, чи є закон Гука пояснювальним чи прогнозним? На іншому кінці спектру чи є прогнозними точними рекомендаційними системами хороші причинно-наслідкові моделі явних оцінок позицій? Я думаю, що всі ми поділяємо інтуїцію, що мета науки - пояснення, тоді як мета технології - передбачення; і ця інтуїція якимось чином втрачається з огляду на інструменти, які ми використовуємо, як алгоритми нагляду за контролем,

Сказавши все це, можливо, єдине слово, яке я застосував би до моделі, є інтерпретаційним. Регресії зазвичай трактуються; нейронні сітки з багатьма шарами часто не такі. Я думаю, що люди іноді наївно припускають, що інтерпретаційна модель надає причинно-наслідкову інформацію, тоді як неінтерпретовані моделі надають лише прогностичну інформацію. Таке ставлення мені здається просто заплутаним.

Мені досі трохи незрозуміло, в чому питання. Сказавши, що, на мій погляд, принциповою відмінністю між прогнозною та пояснювальною моделями є різниця в їх фокусі.

Пояснювальні моделі

$x$$y$$\beta$

Моделі прогнозування

Мета прогнозних моделей - передбачити щось. Таким чином, вони, як правило, зосереджуються менше на парсифікації чи простоті, а більше на їх здатності передбачати залежну змінну.

Однак вищесказане є дещо штучним розмежуванням, оскільки пояснювальні моделі можуть бути використані для прогнозування, а іноді прогнозні моделі можуть щось пояснити.

як уже говорили інші, розмежування є дещо безглуздим, за винятком тих цілей, які стосуються цілей дослідника.

Бред Ефрон, один із коментаторів допису "Дві культури" , зробив таке зауваження (як обговорювалося в моєму попередньому запитанні ):

Прогнозування само по собі достатньо лише іноді. Поштове відділення задоволене будь-яким методом, який передбачає правильні адреси від рукописних скретчів. Пітер Григорій розпочав своє дослідження з метою прогнозування, а також для того, щоб краще зрозуміти медичну основу гепатиту. Більшість статистичних опитувань визначають причинно-наслідкові фактори як їх кінцеву мету.

Окремі галузі (наприклад, медицина) надають велику вагу примірці моделі як пояснювальний процес (розподіл тощо), як засіб для розуміння основного процесу, що генерує дані. Інші поля менше стосуються цього і будуть задоволені моделлю "чорного ящика", яка має дуже високий прогнозований успіх. Це може також проникнути в процес побудови моделі.

Щодо поваги, це питання можна було б краще зосередити. Чи використовували люди колись один термін, коли інший був більш доречним? Так, звісно. Іноді це досить зрозуміло з контексту, або ти не хочеш бути педантичним. Іноді люди просто неохайні або ледачі у своїй термінології. Це стосується багатьох людей, і я, звичайно, не кращий.

Тут є потенційна цінність (обговорюється пояснення проти прогнозування резюме), щоб з'ясувати відмінність між двома підходами. Коротше кажучи, відмінність зосереджується на ролі причинності. Якщо ви хочете зрозуміти деяку динаміку у світі та пояснити, чому щось відбувається так, як це відбувається, вам потрібно визначити причинно-наслідкові зв’язки серед відповідних змінних. Для прогнозування причинності можна ігнорувати. Наприклад, ви можете передбачити ефект із знань про його причину; можна передбачити існування причини, знаючи, що дія настала; і можна передбачити приблизний рівень одного ефекту, пізнавши інший ефект, який рухається тією ж причиною. Чому хтось хотів би це зробити? Розширити свої знання про те, що може статися в майбутньому, щоб вони могли відповідно планувати. Наприклад, дошка умовно-дострокового звільнення може захотіти передбачити ймовірність того, що засуджений повторно подасть заяву, якщо він буде звільнений. Однак для пояснення цього недостатньо. Звичайно, Оцінка справжньої причинно-наслідкової залежності між двома змінними може бути надзвичайно складною. Крім того, моделі, які фіксують (як вважають) реальні причинно-наслідкові зв'язки, часто гірші для прогнозування. То чому ж це робити тоді? По-перше, більшість цього робиться в науці, де розуміння ведеться заради себе. По-друге, якщо ми можемо достовірно виявити справжні причини і можемо розвинути здатність впливати на них, ми можемо чинити певний вплив на наслідки.

Що стосується стратегії статистичного моделювання, то тут немає великої різниці. Переважно різниця полягає в тому, як провести дослідження. Якщо ваша мета - вміти прогнозувати, з’ясуйте, яка інформація буде доступна користувачам моделі, коли їм потрібно буде зробити прогноз. Інформація, до якої вони не матимуть доступу, не має жодної цінності. Якщо вони, швидше за все, захочуть спрогнозувати на певному рівні (або в вузькому діапазоні) передбачувачів, спробуйте зосередити вибірковий діапазон провісника на цьому рівні та перепробовувати там. Наприклад, якщо дошка умовно-дострокового звільнення в основному захоче дізнатися про злочинців, які мають дві основні судимості, ви можете зібрати інформацію про злочинців, які мають 1, 2 та 3 судимості. З іншого боку, для оцінки причинного стану змінної в основному потрібен експеримент. Це, експериментальні одиниці потрібно призначати випадковим чином до заданих рівнів пояснювальних змінних. Якщо виникає занепокоєння щодо того, залежає чи ні характер причинного ефекту від якоїсь іншої змінної, ця змінна повинна бути включена в експеримент. Якщо неможливо провести справжній експеримент, то ви стикаєтеся зі значно складнішою ситуацією, надто складною, щоб зайти сюди.

Більшість відповідей допомогли з’ясувати, що таке моделювання пояснення та моделювання прогнозування та чому вони відрізняються. Поки не зрозуміло, як вони відрізняються. Отже, я подумав, що запропоную приклад, який може бути корисним.

Припустимо, ми зацікавлені в моделюванні коледжу GPA як функції академічної підготовки. В якості заходів академічної підготовки ми маємо:

1. Оцінки тесту на вміння;
2. HS GPA; і
3. Кількість пройдених тестів AP.

Стратегія прогнозування

Якщо мета - прогнозування, я можу використовувати всі ці змінні одночасно в лінійній моделі, і моє головне питання полягає в точності прогнозування. Залежно від змінних, які виявляться найбільш корисними для прогнозування ГПД коледжу, він буде включений у остаточну модель

Стратегія пояснення

Якщо мета - пояснення, я, можливо, буду більше стурбований скороченням даних і ретельно подумати про співвідношення незалежних змінних. Моя основна проблема - інтерпретація коефіцієнтів.

Приклад

У типовій багатоваріантній задачі з корельованими прогнозами не рідкість буде спостерігати «несподівані» коефіцієнти регресії. Враховуючи взаємозв’язки між незалежними змінними, не дивно було б побачити часткові коефіцієнти для деяких із цих змінних, що не в тому ж напрямку, що і їхні нульові зв'язки, і які можуть здатися протилежними інтуїтивно зрозумілим і важким для пояснення.

Наприклад, припустимо, що модель дозволяє припустити, що (якщо результати врахування атестації та кількість успішно виконаних тестів AP прийняті до уваги) вищі середні школи середніх шкіл асоціюються з нижчими середніми балів коледжу. Це не є проблемою для прогнозування, але це створює проблеми для пояснювальної моделі, де такі відносини важко інтерпретувати . Ця модель може забезпечити найкращі результати вибіркових прогнозів, але це мало допомагає нам зрозуміти взаємозв'язок між академічною підготовкою та балом середнього навчального закладу.

Натомість роз'яснювальна стратегія може шукати певну форму зменшення змінних, наприклад, основні компоненти, аналіз факторів або SEM для:

1. зосередити увагу на змінній, яка є найкращим показником "академічної ефективності", і моделюйте GPA коледжу на цій одній змінній; або
2. використовувати коефіцієнти коефіцієнтів / прихованих змінних, отримані з комбінації трьох заходів академічної підготовки, а не оригінальних змінних.

Такі стратегії можуть знизити прогнозовану силу моделі, але вони можуть дати краще розуміння того, як академічна підготовка пов'язана з коледжем GPA.

Я хотів би запропонувати з цього приводу орієнтований на модель погляд.

Прогностичне моделювання - це те, що відбувається в більшості аналізів. Наприклад, дослідник встановлює регресійну модель з купою предикторів. Коефіцієнти регресії потім представляють прогнозне порівняння між групами. Прогнозний аспект походить від імовірнісної моделі: висновок робиться стосовно моделі суперпопуляції, яка, можливо, дала спостережувану сукупність чи вибірку. Мета цієї моделі - передбачити нові результати для одиниць, що виходять із цієї надселення. Часто це є марною метою, оскільки все завжди змінюється, особливо в соціальному світі. Або тому, що ваша модель стосується рідкісних одиниць, таких як країни, і ви не можете намалювати новий зразок. Корисність моделі в цьому випадку залишається на оцінці аналітика.

Коли ви намагаєтесь узагальнити результати для інших груп чи майбутніх одиниць, це все ще прогноз, але іншого типу. Наприклад, це можна назвати прогнозуванням. Ключовим моментом є те, що прогнозована сила оцінюваних моделей за замовчуванням має описовий характер. Ви порівнюєте результат по групах і висуваєте гіпотезу для моделі порівнянь, але ви не можете зробити висновок, що ці порівняння становлять причинні наслідки.

Причина полягає в тому, що ці групи можуть страждати від упередженості відбору . Тобто вони, природно, можуть мати більш високий бал за результатом інтересу, незалежно від лікування (гіпотетичне причинно-наслідкове втручання). Або вони можуть залежати від інших розмірів ефекту від лікування, ніж інші групи. Ось чому, особливо для даних спостережень, оціночні моделі, як правило, стосуються прогнозних порівнянь, а не пояснень. Пояснення стосується виявлення та оцінки причинного ефекту і вимагає чітко продуманих експериментів або продуманого використання інструментальних змінних. У цьому випадку прогнозні порівняння вирізаються з будь-якого зміщення селекції та представляють причинно-наслідкові наслідки. Таким чином, модель може розглядатися як пояснювальна.

Я виявив, що мислення в цих термінах часто уточнювало, чим я насправді займався, встановлюючи модель для деяких даних.

Ми можемо навчитися набагато більше, ніж думаємо з "прогнозних" моделей Black box. Ключ полягає в проведенні різних типів аналізу чутливості та моделювання, щоб дійсно зрозуміти, як на модель OUTPUT впливають зміни в просторі INPUT. У цьому сенсі навіть суто прогнозована модель може дати пояснення. Це пункт, який дослідницька спільнота часто не помічає або неправильно розуміє. Тільки тому, що ми не розуміємо, чому алгоритм працює, це не означає, що алгоритму не вистачає пояснювальної потужності ...

В цілому з точки зору основної точки зору, ймовірний відповідь ймовірнісного абсолютно правильний ...

Існує різниця між тим, що вона називає в статистиці пояснювальними та прогнозними програмами. Вона каже, що ми повинні знати щоразу, коли ми використовуємо те чи інше, який саме використовується. Вона каже, що ми часто їх змішуємо, звідси плутанина .

Я погоджуюся, що в програмах суспільних наук різниця є розумною, але в природничих науках вони є і повинні бути однаковими. Також я називаю їх висновком проти прогнозуванням і погоджуюся, що в соціальних науках не слід їх змішувати.

Почну з природничих наук. У фізиці ми зосереджені на поясненні, ми намагаємось зрозуміти, як працює світ, що викликає те, що і т. Д. Отже, увага зосереджена на причинності, висновках тощо. З іншого боку, прогностичний аспект також є частиною наукового процесу. Насправді спосіб доведення теорії, яка вже добре пояснила спостереження (подумайте про вибірку), полягає в тому, щоб передбачити нові спостереження, а потім перевірити, як спрацював прогноз. Будь-яка теорія, яка не має можливостей прогнозування, матиме великі труднощі з здобуттям прийняття у фізиці. Ось чому такі важливі експерименти, як Мішельсон-Морлі .

У соціальних науках, на жаль, основні явища нестабільні, неповторювані, невідтворювані. Якщо ви спостерігаєте за розпадом ядер, ви отримуєте однакові результати кожного разу, коли ви їх спостерігаєте, і ті ж результати, які я або чувак ста років тому отримали. Не в економіці чи фінансах. Також можливість проведення експериментів дуже обмежена, майже не існує для всіх практичних цілей, ми лише спостерігаємо та проводимо випадкові вибіркиспостережень. Я можу продовжувати, але ідея полягає в тому, що явища, з якими ми маємо справу, є дуже нестабільними, отже, наші теорії не мають такої якості, як у фізиці. Тому один із способів вирішення цієї ситуації полягає в тому, щоб зосередитись на висновках (коли ви намагаєтесь зрозуміти, що спричиняє чи впливає на що) чи прогнозуванні (просто скажіть, що ви думаєте, що станеться з тим чи іншим ігнорувати структуру).

Структурна модель дала б пояснення, а модель прогнозування дала б прогноз. Структурна модель матиме латентні змінні. Структурна модель - це одночасне завершення регресійного та факторного аналізу

Латентні змінні проявляються у формі мультиколінеарності в прогностичних моделях (регресія).