Невже машинне навчання менш корисне для розуміння причинності, таким чином, менш цікавим для суспільних наук?


42

Я розумію різницю між машинним навчанням / іншими методами статистичного прогнозування та типом статистики, яку використовують вчені-соціологи (наприклад, економісти) в тому, що економісти, схоже, дуже зацікавлені в розумінні ефекту однієї чи кількох змінних - і з точки зору величини та виявлення, чи є зв’язок причинним. Для цього ви закінчуєте експериментальні та квазіекспериментальні методи тощо.

Машинне навчання або статистичне моделювання, яке є прогнозним, часто цілком нехтує цим аспектом, і в багатьох випадках не дає вам конкретного ступеня, на який одна змінна впливає на результат (logit і probit, схоже, роблять і те, і інше).

Пов'язане питання полягає в тому, якою мірою теоретично натхнені економічні чи поведінкові моделі мають перевагу перед атеоретичними моделями при прогнозуванні нових областей? Що може сказати критик на машинне навчання чи орієнтований на прогнозування, що без економічної моделі ви не зможете правильно передбачити нові зразки, де коваріати були дуже різними.

Я був би дуже радий почути, як люди сприймають це з усіх перспектив.


Питання. Ви мали на увазі написати "атеоретичні моделі", і якщо так, то що ви мали на увазі під цим? АБО ти просто мав на увазі "теоретичний"?
Faheem Mitha

2
Ви, можливо, дивитесь на генеративні та дискримінаційні моделі? Машинне навчання схиляється до дискримінаційних моделей та прийомів.
Уейн

@FaheemMitha: "аторетичний": без теорії.
naught101

Відповіді:


32

Не існує офіційних відмінностей, що відрізняють машинне навчання та статистику на фундаментальному рівні пристосування моделей до даних. Можуть існувати культурні відмінності у виборі моделей, цілях пристосування моделей до даних, а до деяких розширити інтерпретації.

У типових прикладах, які я можу придумати, ми завжди маємо

  • колекція моделей для для деякого набору індексів , i I IMiiII
  • і для кожного невідомий компонент (параметри, може бути безкінечномірні) моделі .θ i M iiθiMi

Пристосування до даних майже завжди є проблемою математичної оптимізації, що полягає в пошуку оптимального вибору невідомого компонента щоб зробити відповідним даним, виміряним деякою улюбленою функцією.θ i M iMiθiMi

Вибір серед моделей менш стандартний, і доступний цілий ряд методів. Якщо мета пристосування моделі є чисто передбачувальною, вибір моделі проводиться з намаганням отримати хороші прогнозні показники, тоді як якщо першочерговою метою є інтерпретація отриманих моделей, більш легкі для інтерпретації моделі можуть бути обрані над іншими моделями, навіть якщо їх прогнозована сила, як очікується, буде гіршою.Mi

Те, що можна назвати вибором статистичної моделі старої школи , ґрунтується на статистичних тестах, можливо, поєднаних із поетапними стратегіями відбору, тоді як вибір машинного навчання зазвичай орієнтується на очікувану помилку узагальнення, яку часто оцінюють за допомогою перехресної перевірки. Однак, здається, що поточні розробки та розуміння вибору моделі схожі на більш загальну основу, див., Наприклад, вибір моделі та усереднення моделей .

Визначення причинності у моделей

Суть справи полягає в тому, як ми можемо інтерпретувати модель? Якщо дані, отримані з ретельно розробленого експерименту, а модель є адекватною, правдоподібно, що ми можемо інтерпретувати ефект зміни змінної в моделі як причинний ефект, а якщо повторити експеримент і втрутитися в цю конкретну змінну ми можемо очікувати, що ми спостерігатимемо оцінений ефект. Якщо, однак, дані спостерігаються, ми не можемо очікувати, що оцінені ефекти в моделі відповідають ефектам, що спостерігаються втручання. Для цього знадобляться додаткові припущення, незалежно від того, модель є "моделлю машинного навчання" чи "класичною статистичною моделлю".

Можливо, люди, навчені використовувати класичні статистичні моделі з акцентом на одновимірні оцінки параметрів та інтерпретації розмірів ефекту, створюють враження, що причинно-наслідкова інтерпретація є більш вірною в цій рамці, ніж у машинній системі навчання. Я б сказав, що це не так.

Область причинного висновку в статистиці насправді не усуває проблему, але вона робить припущення, на яких причинно-наслідкові висновки залишаються явними. Вони називаються непереборними припущеннями . Стаття Причинно-наслідкові висновки в статистиці: Огляд Джудеї Перл - це хороший документ для читання. Основним внеском причинного висновку є збір методів оцінки причинних наслідків за припущеннями, коли насправді є непомічені конфузи, що інакше викликає серйозне занепокоєння. Див. Розділ 3.3 в перламутровій роботі вище. Більш просунутий приклад можна знайти в статті « Крайові структурні моделі» та «Причинно-наслідковий висновок в епідеміології» .

Це питання, чи є безперечними припущення. Вони точно незаперечні, оскільки ми не можемо перевірити їх, використовуючи дані. Для обґрунтування припущень необхідні інші аргументи.

Як приклад, де зустрічається машинне навчання та причинно-наслідковий висновок, ідеї цільової оцінки максимальної ймовірності , представлені в цільовому навчанні максимальної вірогідності Марка ван дер Лаана та Даніеля Рубіна, зазвичай використовують методи машинного навчання для непараметричного оцінювання з подальшим "націленням" "до параметра, що цікавить. Останнє цілком може бути параметром із причинним тлумаченням. Ідея в Super Learnerполягає в значній мірі покладатися на методи машинного навчання для оцінки параметрів, що цікавлять. Важливим моментом Марка ван дер Лаана (особисте спілкування) є те, що класичні, прості та "інтерпретаційні" статистичні моделі часто неправильні, що призводить до упереджених оцінок та занадто оптимістичної оцінки невизначеності оцінок.


Дякую за цю неймовірну відповідь ... Я з нетерпінням чекаю перейти на всі надані вами посилання. Одне затяжне питання, яке я маю, стосується техніки. Чи є аналог машинного навчання чимось на зразок інструментальних змінних для даних спостережень? Також - у випадку рандомізації змінної, що б альтернатива машинного навчання була відносно простого тесту на відмінності між методами лікування? Чи потрібна техніка машинного навчання відповіді, яку перевагу вона матиме?
d_a_c321

@dchandler, мій досвід роботи з інструментальними змінними дуже обмежений, але, знову ж таки, я не бачу жодної формальної причини для розмежування між машинним навчанням та методологією статистики для встановлення моделі , отже, ви могли б дуже добре включати інструментальні змінні, якщо це служить цілі. Я вважаю, що найцікавіше питання, пов'язане з причинною причиною, - це ефект втручання. Це в основному питання прогнозів, але, можливо, не під розподілом даних спостережень.
NRH

@dchandler, для другого питання я б не ставив це як питання про співвідношення методів "один на один" методів машинного навчання та методів статистики. Для відповіді на запитання обчислюється -тест: Чи є в даних докази для відхилення нульової гіпотези про рівність засобів? Ми можемо тривалий час обговорювати, чи цікаво це, і навіть чи -test та відповідна -значення дають хорошу відповідь, але я не думаю, що є сенс запитати, чи існує альтернатива машинного навчання. t pttp
NRH

Однак після втручання, яка статистика використовує машинне навчання? Основна статистика експериментального проектування, як правило, просто загинула від мозку (порівняння засобів за допомогою t-тесту). В економетриці з більшим припущенням можна спробувати відновити різні кванти або розподіл ефектів від лікування. Що може зробити аналіз машинного навчання поза порівнянням засобів?
d_a_c321

Що забитий мозок легко - це обчислити щось, що не так просто - це виправдати необхідні припущення. Підхід TMLE від Марка базується на оцінці розмірів ефектів (параметри, що цікавлять, в цілому, можливо, наслідки втручання, можливо спостережувальні ефекти) та забезпечує чесні інтервали довіри з менш обмежувальними припущеннями щодо моделі. Для уникнення обмежувальної та неправильної параметричної моделі використовується гнучка модель, що відповідає вибору моделі на основі перехресної перевірки.
NRH

10

Існує (досить обмежений) набір статистичних інструментів для так званого «причинного висновку». Вони призначені для фактичної оцінки причинно-наслідкових зв’язків і доведено, що вони роблять це правильно. Відмінно, але не для лагідного серця (чи мозку, з цього приводу).

Крім того, у багатьох випадках здатність наводити причинно-наслідкові зв’язки є набагато більше наслідком вашого дизайну, ніж наявними методами: якщо ви маєте контроль над "усіма" змінними в своєму експерименті, і ви бачите, що щось відбувається, коли ви ( лише) зміни однієї змінної, розумно називати те, що трапляється, "наслідком" речі, яку ви змінюєте (на жаль, в реальному дослідженні ці крайні випадки дійсно трапляються насправді). Ще одне інтуїтивне, але обгрунтоване міркування, засноване на часі: якщо ви випадково (але контрольовано) змінюєте змінну, а інший змінюється на наступний день, причинність також знаходиться за кутом.

Весь мій другий абзац по суті працює незалежно від того, які методи ви використовуєте для пошуку змінних змінних в яких умовах, тому, принаймні, теоретично немає причин, чому машинне навчання (МЛ) було б гірше, ніж методи, засновані на статистиці.

Відмова від відповідальності : сильно суб'єктивне переслідування пункту

Однак, на моєму досвіді, занадто часто методи МЛ просто пускають на ділянку даних, не враховуючи, звідки беруться дані або як вони збиралися (тобто нехтування дизайном). У таких випадках результат часто падає, але сказати щось корисне про причинність буде вкрай важко. Це будеточно так само, коли на тих самих даних використовується якийсь статистично обгрунтований метод. Однак люди з сильним статистичним досвідом навчаються критично ставитися до цих питань, і якщо все піде добре, уникнуть цих підводних каменів. Можливо, просто розум ранніх (але неохайних) тих, хто застосовує методики ML (як правило, не розробники нових методів, але ті, хто прагне "довести" деякі результати з ними у своїй галузі інтересів), що дав ML погану репутацію щодо цього рахунок. (зауважте, що я не кажу, що статистика краща, ніж ML, або що всі люди, які роблять ML, неохайні, а ті, хто робить статистику, не є)


Дуже дякую за відповідь. Мені дуже подобається ваше пояснення того, як причинність є більш наслідком дизайну, ніж техніки. Хоча у мене є питання щодо методів, чи є щось на зразок інструментальних змінних для машинного навчання. Також - у випадку рандомізації змінної, яка альтернатива машинного навчання буде відносно простого тесту на відмінності між методами лікування?
d_a_c321

9

На мою думку, моделі, що застосовуються в економіці та інших соціальних науках, корисні лише в тому випадку, якщо вони мають передбачувану силу в реальному світі - модель, яка не передбачає реального світу, є лише розумною математикою. Моя улюблена приказка моїм колегам - це те, що "дані королі".

Мені здається, що ваше запитання викликає дві критики прогностичного підходу. По-перше, ви зазначаєте, що моделі, виготовлені за допомогою машинного навчання, можуть бути не інтерпретованими . По-друге, ви припускаєте, що методи, що застосовуються в соціальних науках, є більш корисними для розкриття причинно-наслідкових зв’язків, ніж машинне навчання.

Щоб вирішити перший пункт, я пропоную наступний аргумент. Нинішня пристрасть до машинного навчання надає перевагу методам (як SVM та NN), які непрості для розуміння непрофесійних працівників. Це не означає, що всі методи машинного навчання мають цю властивість. Наприклад, поважне дерево рішень C4.5 досі широко застосовується через 20 років після досягнення остаточної стадії свого розвитку і виробляє як вихід ряд правил класифікації. Я заперечую, що такі правила піддаються інтерпретації краще, ніж такі поняття, як коефіцієнт коефіцієнта журналу, але це суб'єктивне твердження. У будь-якому випадку такі моделі можна інтерпретувати.

Звертаючись до другого пункту, я визнаю, що якщо ви тренуєте модель машинного навчання в одному середовищі та перевіряєте її в іншому, вона, швидше за все, не зможе, однак, немає жодної причини припускати, що апріорі це не вірно більш звичайна модель: якщо ви будуєте свою модель під одним набором припущень, а потім оцінюєте її за іншою, ви отримаєте погані результати. Для вибору фрази з комп’ютерного програмування: "сміття все, сміття" застосовується однаково добре як для машинного навчання, так і для розроблених моделей.


9

Ні. Причинно-наслідковий висновок - це активна область дослідження машинного навчання, наприклад, дивіться матеріали цього семінару і цього . Однак я хотів би зазначити, що навіть якщо причинно-наслідковий висновок або інтерпретація моделі є вашим першочерговим інтересом, все-таки хороша ідея паралельно спробувати непрозорий чисто передбачувальний підхід, так що ви дізнаєтесь, чи існує серйозне покарання за ефективність, яке наполягає на наполяганні на інтерпретована модель.


1
сумісний? Можливо, ви маєте на увазі інтерпретацію?
Faheem Mitha

4

Я не буду повторювати дуже хороші моменти, вже написані в інших відповідях, але хотів би додати дещо іншу точку зору. Те, що я говорю тут, є дещо філософським, не обов'язково витягнутий із професійного досвіду, а зі змішаного досвіду у галузі фізичних наук, теорії складних систем та машинного навчання (і, я повинен визнати, значною мірою статистика студентів).

Одна суттєва різниця між машинним навчанням та класичними статистичними підходами (про які я знаю) полягає у наборі припущень, які зроблені. У класичній статистиці багато припущень про основні процеси та розподіли є фіксованими і, як правило, сприймаються як належне. Однак у машинному навчанні ці припущення явно вибираються для кожної моделі, що призводить до набагато ширшого набору можливостей та, можливо, більшої обізнаності з припущеннями.

Ми все більше і більше спостерігаємо, що системи у навколишньому світі поводяться складними, нелінійними способами, і що багато процесів не підпорядковуються припущенням про нормальність тощо, як правило, наявних у класичній статистиці. Я б заперечував, що через гнучкість та різноманітність припущень щодо моделей підходи до машинного навчання часто призводять до більш надійної моделі в таких випадках.

Існують сильні припущення щодо моделей, вбудовані в такі фрази, як "величина ефекту", "причинно-наслідковий зв'язок" та "ступінь, на яку одна змінна впливає на результат". У складній системі (наприклад, економіці) ці припущення будуть справедливими лише в певному вікні можливих системних станів. З деякими спостереженнями та процесами це вікно може бути великим, що призводить до порівняно надійних моделей. З іншими він може бути невеликим або навіть порожнім. Мабуть, найбільша небезпека є середнім напрямком: модель може здатися справною, але коли система зміщується, виходить з ладу раптово і дивно.

Машинне навчання - не панацея. Швидше, я розглядаю це як пошук нових способів отримання сенсу від наших спостережень, пошуку нових парадигм, необхідних, якщо ми хочемо ефективно впоратися зі складністю, яку ми починаємо сприймати у навколишньому світі.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.