Чи можна перехресну перевірку використовувати для причинного висновку?

У всіх контекстах я знайомий з перехресною валідацією, він використовується виключно з метою підвищення точності прогнозування. Чи можна розширити логіку перехресної перевірки при оцінці неупереджених зв’язків між змінними?

Хоча цей документ Річарда Берка демонструє використання вибійної вибірки для вибору параметрів у "остаточній" регресійній моделі (і демонструє, чому поетапний вибір параметрів не є хорошою ідеєю), я все ще не розумію, як саме це забезпечує неупереджені оцінки впливу X мають більше на Y, ніж вибір моделі, заснованої на логіці та попередніх знаннях предмета.

Я прошу, щоб люди наводили приклади, коли один використовував пробний зразок для допомоги в каузальному висновку, або загальні нариси, які можуть допомогти мені зрозуміти. Я також не сумніваюся, що моє уявлення про перехресну валідацію є наївним, і якщо це так. Здається, що випадкове використання проби, що витягується, може піддаватися причинному висновку, але я не знаю жодної роботи, яка б це робила, або як вони це зробили б.

Цитування до статті Berk:

Статистичні умовиводи після вибору моделі : Річард Берк, Лоуренс Браун, Журнал кількісної кримінології Linda Zhao, Vol. 26, № 2. (1 червня 2010 р.), Стор 217-236.

Версія PDF тут

Це питання про розвідувальний аналіз даних у невеликих вибіркових дослідженнях chl викликало це питання.

Я думаю, що корисно переглянути те, що ми знаємо про перехресну перевірку. Статистичні результати навколо резюме поділяються на два класи: ефективність та послідовність.

Ефективність - це те, про що ми зазвичай маємо справу при побудові прогнозних моделей. Ідея полягає в тому, що ми використовуємо CV для визначення моделі з асимптотичними гарантіями щодо функції втрат. Найвідоміший результат тут пов’язаний з Stone 1977 і показує, що резюме LOO асимптотично еквівалентно AIC. Але Бретт дає хороший приклад, коли можна знайти модель прогнозування, яка не інформує вас про причинний механізм.

Послідовність - це те, що ми хвилюємося, якщо наша мета - знайти «справжню» модель. Ідея полягає в тому, що ми використовуємо CV для визначення моделі з асимптотичними гарантіями, що, враховуючи, що наш модельний простір включає справжню модель, ми відкриємо її з достатньо великим зразком. Найвідоміший результат тут пояснюється Шао 1993 року щодо лінійних моделей, але, як він констатує у своєму абстракті, його "шокуюче відкриття" протилежне результату для LOO. Для лінійних моделей можна домогтися узгодженості, використовуючи LKO CV до тих пір, поки як n → ∞ . Поза лінійними моделями важче отримати статистичні результати. $k/n \rightarrow 1$$n \rightarrow \infty$

Але припустимо, що ви можете відповідати критеріям узгодженості, і ваша процедура резюме призводить до справжньої моделі: $Y = \beta X + e$ . Що ми дізналися про причинний механізм? Ми просто знаємо, що існує чітко визначена кореляція між та X , що не говорить про багато про причинно-наслідкові претензії. З традиційної точки зору, вам потрібно запровадити експериментальну розробку з механізмом контролю / маніпулювання, щоб висувати причинно-наслідкові претензії. З точки зору структури Юдеї Перл, ви можете викласти причинно-наслідкові припущення в структурну модель і використовувати обчислення на основі ймовірності контрфактів для отримання деяких претензій, але вам потрібно буде задовольнити певні властивості . $Y$$X$

Можливо, ви могли б сказати, що CV може допомогти причинно-наслідковим висновком, визначивши справжню модель (за умови, що ви можете задовольнити критерії узгодженості!). Але це досягає лише вас поки що; Резюме самостійно не робить жодної роботи в будь-яких рамках причинного висновку.

Якщо ви більше зацікавлені в тому, що ми можемо сказати з перехресною валідацією, я рекомендую Shao 1997 за широко цитованим документом 1993 року:

• Асимптотична теорія вибору лінійної моделі (Шао, 1997)

Ви можете проглядати основні результати, але цікаво прочитати дискусію, що випливає. Я вважав, що коментарі Рао та Тібширані та Стоун були особливо проникливими. Але зауважте, що, обговорюючи послідовність, жодних претензій щодо причинності ніколи не висловлюється.

Це справді цікаве запитання, і я не пропоную конкретних цитат. Однак загалом, я б сказав, НІ, саме по собі, перехресне підтвердження не дає ніякого розуміння причинності. За відсутності розробленого експерименту, питання причинності завжди є невизначеним. Як ви пропонуєте, перехресне підтвердження може і покращить точність прогнозування. Це само по собі нічого не говорить про причинності.

Якщо відсутній розроблений експеримент, причинно-наслідковий висновок потребує моделі, яка включає всі відповідні прогноктори - те, що ми можемо рідко гарантувати в спостережному дослідженні. Більше того, проста змінна відставання, наприклад (або все, що дуже корелює з будь-яким результатом, який ми намагалися передбачити), дасть хорошу модель та модель, яку можна було б підтвердити у кількох вибірках. Однак це не означає, що ми можемо зробити висновок про причину. Перехресне підтвердження забезпечує повторюваність прогнозів і більше. Причинність - це питання дизайну та логіки.

EDIT: Ось приклад для ілюстрації. Я міг би побудувати модель з хорошою прогностичною точністю, яка прогнозує населення міста на основі кількості грошей, яку місто витрачає на вивезення сміття. Я міг би використовувати перехресну перевірку для перевірки точності цієї моделі, а також інших методів для підвищення точності прогнозування та отримання більш стабільних параметрів. Тепер, поки ця модель чудово працює для прогнозування, причинно-наслідкова логіка неправильна - причинний напрямок зворотний. Незалежно від того, що могли б стверджувати люди у відділі громадських робіт, збільшення бюджету на вивезення сміття не було б хорошою стратегією збільшення населення міста (причинно-наслідкове тлумачення).

Питання точності та повторюваності моделі окремо від нашої здатності робити причинно-наслідкові умовиводи щодо спостережуваних нами відносин. Перехресне підтвердження допомагає нам з першим, а не з другим. Тепер, якщо ми оцінюємо "правильну" модель з точки зору визначення випадкових відносин (наприклад, намагаючись визначити, яким повинен бути наш бюджет на вивезення сміття, виходячи з нашої очікуваної кількості в наступному році), перехресне підтвердження може допомогти нам збільшити впевненість у нашій оцінці цього ефекту. Однак перехресне підтвердження нічого не допомагає нам вибрати «правильну» модель стосовно причинно-наслідкових зв’язків. Знову ж таки, тут нам потрібно покластися на дизайн дослідження, наш досвід, теорію та логіку.

Мені здається, що ваше запитання, як правило, стосується різного аромату валідації для прогнозної моделі: перехресне підтвердження має дещо більше спільного з внутрішньою валідністю або, принаймні, початковою стадією моделювання, тоді як нанесення причинно-наслідкових зв’язків на більш широку групу більше пов'язане до зовнішньої дійсності. Під цим (і як оновлення після приємного зауваження @ Бретта) я маю на увазі, що ми зазвичай будуємо модель на робочому зразку, приймаючи гіпотетичну концептуальну модель (тобто ми визначаємо взаємозв'язок між прогнозами та результатами, що цікавлять), і ми намагаємось отримати надійні оцінки з мінімальною помилкою класифікації або мінімальною помилкою прогнозування. Сподіваємось, чим краще модель працює, тим краще вона дозволить нам передбачити результат (і) на небачених даних; все-таки резюме нічого не розповідає про "обгрунтованість" або адекватність гіпотезованих причинно-наслідкових зв'язків. Ми, безумовно, могли б досягти гідних результатів за допомогою моделі, коли деякі поміркованість та / або посередницькі ефекти нехтують або просто не знаються заздалегідь.

Моя думка полягає в тому, що незалежно від методу, який ви використовуєте для перевірки вашої моделі (і метод тримання, звичайно, не найкращий, але все-таки він широко застосовується в епідеміологічному дослідженні для полегшення проблем, що виникають в результаті поетапної побудови моделі), ви працюєте з тим же зразком (який ми вважаємо репрезентативним для більшої кількості населення). Навпаки, узагальнення результатів та причинно-наслідкових зв’язків, що виводяться таким чином на нові зразки чи правдоподібну сукупність, зазвичай роблять шляхом реплікаційних досліджень . Це гарантує, що ми можемо сміливо перевірити прогностичну здатність нашої моделі в "суперпопуляції", яка має більш широкий спектр окремих варіацій і може виявляти інші потенційні фактори, що цікавлять.

Ваша модель може надавати правильні прогнози для вашого робочого зразка, і вона включає в себе всі потенційні плутанини, про які ви можете подумати; однак можливо, що він не буде так добре працювати з новими даними, лише тому, що в ході втручаного причинного шляху з'являються інші фактори, які не були визначені при побудові початкової моделі. Це може статися, якщо деякі прогнози та причинно-наслідкові зв’язки, які випливають з нього, залежать від конкретного центру випробування, куди приймали пацієнтів, наприклад.

У генетичній епідеміології багато досліджень, пов’язаних з геномом, не вдається повторити лише тому, що ми намагаємося моделювати складні захворювання з надто спрощеним поглядом на причинно-наслідкові зв’язки між маркерами ДНК та спостережуваним фенотипом, хоча дуже ймовірно, що ген-ген (епістаз), генні хвороби (плейотропія), генетичне середовище та підструктура популяції вступають у гру, але див Валідація, посилення та уточнення сигналів асоціації, пов’язаних із геном.(Ioannidis et al., Nature Reviews Genetics, 2009, 10). Таким чином, ми можемо створити ефективну модель для обліку спостережуваних перехресних варіацій між набором генетичних маркерів (з дуже низьким і розрідженим розміром ефекту) та багатоваріантною схемою спостережуваних фенотипів (наприклад, об'єм біло / сірого речовини або локалізована діяльність в мозку, що спостерігається за допомогою fMRI, відповіді на нейропсихологічну оцінку чи інвентаризацію особистості), все ж не буде виконуватись так, як очікувалося на незалежній вибірці.

Що стосується загальної посилання на цю тему, можна порекомендувати розділ 17 та частину III моделей клінічного прогнозування від EW Steyerberg (Springer, 2009). Мені також подобається наступна стаття від Ioannidis:

Ioannidis, JPA, чому найбільш опубліковані результати досліджень є помилковими? PLoS Med. 2005. 2 (8): e124

Це хороше запитання, але відповідь, безумовно, ні: перехресне підтвердження не покращить причинно-наслідкові умовиводи. Якщо у вас є відповідність між симптомами та захворюваннями, перехресне підтвердження допоможе гарантувати, що ваша модель відповідає їх спільному розповсюдженню краще, ніж якби ви просто прилаштували свою модель до всього набору необроблених даних, але вона ніколи не може сказати вам нічого про спрямованість причинного зв'язку.

Перехресна перевірка дуже важлива і її варто вивчити, але вона не забезпечує нічого іншого, крім того, щоб запобігти перенапруження в наборі даних. Якщо ви хочете зрозуміти це детальніше, я пропоную розділ 7 ESL: http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

Щоб відповісти на подальші дії @Andy, розміщені як відповідь тут ...

Хоча я не міг сказати, яка оцінка є правильною, а яка помилковою, чи не суперечливість оцінок засуди щодо нападів та засудження гармати між двома моделями не викликає сумнівів у тому, що чи має справжній причинний вплив на тривалість вироку?

Я думаю, що ви маєте на увазі, що невідповідність оцінок параметрів дає нам підстави вважати, що жодна оцінка параметрів не представляє справжнього причинного ефекту. Я погоджуюся з цим, хоча у нас вже було достатньо підстав бути скептичними, що така модель спричинить справжній причинний ефект.

Ось мій прийом: надмірна відповідність є джерелом необ’єктивних оцінок параметрів, і не маючи причин вважати, що це зміщення компенсує інші джерела упередженості при оцінці конкретного причинного ефекту, тоді слід краще в середньому оцінити причинно-наслідкові ефекти без надмірного встановлення даних. Перехресне підтвердження запобігає надмірному встановленню, таким чином, воно в середньому повинно покращити оцінки причинних наслідків.

Але якщо хтось намагається переконати мене повірити у їхню оцінку причинного ефекту від даних спостережень, то доказ того, що вони не переоцінили свої дані, є пріоритетним, якщо у мене немає вагомих причин підозрювати, що їх стратегія моделювання, можливо, матиме перевтомний.

У соціальних програмах, з якими я працюю, я набагато більше переймаюся суттєвими питаннями, питаннями вимірювань та перевірки чутливості. Під контролем чутливості я маю на увазі оцінку варіацій на моделі, де додаються або видаляються терміни, та оцінку моделей із взаємодіями, що дозволяють впливати на інтерес для різних підгруп. Наскільки ці зміни в статистичній моделі впливають на оцінку параметрів, які ми хочемо інтерпретувати причинно? Чи зрозумілі розбіжності в оцінці цього параметра в специфікаціях моделі або підгрупах з точки зору історії причин, про яку ви намагаєтесь розповісти, чи вони натякають на ефект, викликаний, наприклад, вибір.

Насправді перед тим, як запустити ці альтернативні специфікації. Запишіть, як ви думаєте, зміниться ваша оцінка параметрів. Це чудово, якщо оцінка ваших параметрів, що цікавлять, не сильно відрізняється для підгруп або специфікацій - в контексті моєї роботи, що важливіше, ніж перехресне підтвердження. Але інші важливі питання, що стосуються моєї інтерпретації, є ще важливішими.

Я дякую всім за їх відповіді, але питання переросло до того, чого я не мав намір, і був головним чином нарисом загального поняття причинного умовиводу без правильної відповіді.

Я спочатку мав намір запитати аудиторію на приклади використання перехресної перевірки для причинного висновку. Я припускав, що існують такі методи, оскільки уявлення про використання тестового зразка та проведення проби для оцінки повторюваності оцінок ефекту мені здавалося логічним. Як зазначав Джон, те, що я пропонував, не відрізняється від завантажувального завантаження, і я б сказав, що він нагадує інші методи, які ми використовуємо для перевірки результатів, таких як тести специфічності підмножини або нееквівалентні залежні змінні (завантажувальний процес зменшує параметричні припущення моделей та підмножину тести в більш загальному вигляді використовуються як перевірка того, що результати є логічними у різних ситуаціях). Жоден із цих методів не відповідає жодному з інших стандартів доказування причинного висновку, але я вважаю, що вони все ще корисні для каузального висновку.

Коментар chl правильний тим, що моє твердження про використання перехресної перевірки - це перевірка внутрішньої дійсності для допомоги у каузальному висновку. Але я прошу, щоб ми зараз відкидаємо відмінність між внутрішньою та зовнішньою дійсністю, оскільки це не робить нічого для продовження дебатів. На прикладі chl широких досліджень в епідеміології я б вважав головним прикладом поганої внутрішньої обґрунтованості, що робила суттєві сумнівні висновки. Я думаю, що дослідження асоціації геному насправді є прикладом того, про що я попросив. Чи вважаєте ви, що умовивід між генами та хворобою покращується за допомогою перехресної валідації (як проти того, щоб просто перекинути всі маркери в одну модель і відповідно скорегувати р-значення?)

Нижче я вставив копію таблиці в статті Берка, яку я цитував у своєму запитанні. Хоча в цих таблицях показано помилкову логіку використання ступінчастих критеріїв вибору та причинного висновку на одній і тій же моделі, дозволяємо зробити вигляд, що не використовуються критерії вибору моделі, і були визначені параметри як в навчальній, так і у витримці вибірки апріорі. Це не вражає мене нереальним результатом. Хоча я не міг сказати, яка оцінка є правильною, а яка помилковою, чи не суперечливість оцінок засуди щодо нападу та оцінки засудженості між двома моделями не викликає сумнівів, що чи має справжній причинний вплив на тривалість вироку? Чи знаєш, що цей варіант не корисний? Якщо ми нічого не втрачаємо, маючи пробний зразок для тестування нашої моделі, чому ми не можемо використовувати перехресну перевірку для поліпшення причинно-наслідкового висновку (або я пропускаю те, що ми втрачаємо, використовуючи пробну вибірку?)

Я думаю, це інтуїтивний спосіб думати про співвідношення між резюме та причинним висновком: (будь ласка, виправте, якщо я помиляюся)

Я завжди думаю про резюме як про спосіб оцінки продуктивності моделі в прогнозах. Однак у причинному висновку ми більше переймаємось чимось еквівалентним Бритвами Оккама (партенія), отже, CV не допоможе.

Спасибі.