Як вирішити парадокс Сімпсона?

Парадокс Сімпсона - це класична головоломка, яку обговорюють на вступних курсах статистики по всьому світу. Однак мій курс був задоволений, щоб просто зазначити, що проблема існує і не дає рішення. Мені хотілося б знати, як вирішити парадокс. Тобто, стикаючись з парадоксом Сімпсона, де два різних варіанти, схоже, змагаються за те, що вони є найкращим вибором залежно від того, як розподіляються дані, який вибір слід вибрати?

Щоб зробити проблему конкретною, розглянемо перший приклад, наведений у відповідній статті Вікіпедії . Він заснований на реальному дослідженні про лікування каменів у нирках.

Припустимо, я лікар, і тест виявляє, що у пацієнта є камені в нирках. Використовуючи лише інформацію, представлену в таблиці, я хотів би визначити, чи слід приймати лікування А чи лікування Б. Здається, що якщо я знаю розмір каменю, то ми повинні віддавати перевагу лікуванню А. Але якщо ми цього не зробимо, ми повинні віддавати перевагу лікуванню B.

Але розглянемо інший правдоподібний спосіб дійти відповіді. Якщо камінь великий, ми повинні вибрати A, а якщо він малий, ми повинні знову вибрати А. Отже, навіть якщо ми не знаємо розміру каменю, методом випадків ми бачимо, що нам слід віддати перевагу А. Це суперечить нашим попереднім міркуванням.

Отже: Пацієнт заходить у мій кабінет. Тест виявляє, що у них є камені в нирках, але не дає мені інформації про їх розмір. Яке лікування я рекомендую? Чи є прийняте рішення цієї проблеми?

Вікіпедія натякає на резолюцію, використовуючи "причинно-наслідкові байєсівські мережі" та "тестування", але я не маю поняття, що це таке.

У своєму запитанні ви заявляєте, що не знаєте, що таке "причинно-наслідкові байєсівські мережі" та "тести задньої двері".

Припустимо, у вас є причинно-наслідкова мережа Байесів. Тобто спрямований ациклічний графік, вузли якого представляють пропозиції, а спрямовані краї представляють потенційні причинно-наслідкові зв’язки. У вас може бути багато таких мереж для кожної з ваших гіпотез. Є три способи зробити переконливий аргумент про силу чи існування краю .$A \stackrel?\rightarrow B$

Найпростіший спосіб - втручання. Ось що пропонують інші відповіді, коли кажуть, що «правильна рандомізація» виправить проблему. Ви випадково змусити мати різні значення і виміряти B . Якщо ви можете це зробити, ви закінчили, але ви не завжди можете це зробити. У вашому прикладі може бути неетично давати людям неефективне лікування смертельно небезпечних захворювань, або вони можуть сказати щось у своєму лікуванні, наприклад, вони можуть вибрати менш жорсткі (лікування B), коли їхні камені в нирках невеликі та менш болючі.$A$$B$

Другий спосіб - метод вхідних дверей. Ви хочете , щоб показати , що діє на B через C , тобто A → C → B . Якщо припустити , що C потенційно викликаний A , але не мають ніяких інших причин, і ви можете виміряти , що C корелюють з A і B корелюють з C , то можна зробити висновок , докази повинні бути протікають через C . Оригінальний приклад: А курить, В - рак, С$A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$- накопичення дьогтю. Дьоготь може виходити лише від куріння, і він співвідноситься як з курінням, так і з раком. Тому куріння викликає рак через дьоготь (хоча можуть бути й інші причинно-наслідкові шляхи, що пом'якшують цей ефект).

Третій спосіб - метод задніх дверей. Ви хочете , щоб показати , що і B не корелюють з - за «задніх дверей», наприклад , спільна справа, тобто A ← D → B . Так як ви припускали причинний модель, ви просто повинні блокувати всі шляхи (шляхом спостереження змінних і кондиціонування на них) , що докази можуть текти вгору від А і до Б . Трохи складно заблокувати ці шляхи, але Pearl дає чіткий алгоритм, який дозволяє вам знати, які змінні вам потрібно спостерігати, щоб блокувати ці шляхи.$A$$B$$A \leftarrow D \rightarrow B$$A$$B$

Гунг прав, що при гарній рандомізації плутанини не матимуть значення. Оскільки ми припускаємо, що втручання у гіпотетичну причину (лікування) не дозволено, будь-яка загальна причина між гіпотетичною причиною (лікування) та наслідком (виживаність), наприклад, віком або розміром каменю нирок, буде визнанкою. Рішення полягає в правильних вимірах, щоб заблокувати всі задні двері. Для подальшого читання див:

Перлина, Юдея. "Причинно-наслідкові діаграми для емпіричного дослідження". Біометріка 82.4 (1995): 669-688.

$X$$Y$$Z$$X$$Y$$X$$Y$$Z$$Y$$X$$Z$$X$$Y$

$X$

У мене є попередня відповідь, яка тут обговорює парадокс Сімпсона : Базовий парадокс Сімпсона . Це може допомогти вам прочитати це, щоб краще зрозуміти явище.

Коротше кажучи, парадокс Сімпсона виникає через заплутаність. У вашому прикладі поводження бентежить* з видом ниркових каменів у кожного хворого. Ми знаємо з повної таблиці представлених результатів, що лікування А завжди краще. Таким чином, лікар повинен обрати лікування А. Єдиною причиною, коли лікування B виглядає краще в сукупності, є те, що його частіше призначали пацієнтам із менш важким станом, тоді як лікування А проводилось пацієнтам із більш важким станом. Тим не менш, лікування А було краще при обох умовах. Як лікаря, ви не переймаєтесь тим, що в минулому гірше лікування проводилося пацієнтам, які мали менший стан, ви дбаєте лише про пацієнта перед вами, і якщо ви хочете, щоб цей пацієнт покращився, ви забезпечите їх з найкращим доступним лікуванням.

* _{Зауважте, що суть проведення експериментів і рандомізації лікування - це створення ситуації, коли лікування не збивається з пантелику. Якщо дослідження, про яке йдеться, було експериментом, я б сказав, що в процесі рандомізації не вдалося створити справедливих груп, хоча це, можливо, було спостережливим дослідженням - я не знаю.}

Ця приємна стаття Джудеї Перл, опублікована в 2013 році, стосується саме того, який варіант вибрати, коли зіткнутися з парадоксом Сімпсона:

Розуміння парадоксу Сімпсона (PDF)

Ви хочете вирішити один приклад чи парадокс взагалі? Для останнього немає жодного, оскільки парадокс може виникнути з кількох причин і його потрібно оцінювати в кожному конкретному випадку.

Парадокс в першу чергу є проблематичним при повідомленні підсумкових даних і є критичним при навчанні людей, як аналізувати та повідомляти дані. Ми не хочемо, щоб дослідники звітували зведені статистичні дані, які приховують або придушують шаблони даних або аналітики даних, не в змозі визнати, що таке реальна модель у даних. Рішення не було надано, оскільки немає жодного рішення.

У цьому конкретному випадку лікар із таблицею явно завжди вибирає «А» і ігнорує підсумковий рядок. Не має значення, знають вони розмір каменю чи ні. Якщо хтось, що аналізує дані, повідомив лише підсумкові рядки, представлені для A і B, тоді виникне проблема, оскільки отримані лікарем дані не відображають реальності. У цьому випадку вони, ймовірно, повинні були також залишити останній рядок поза таблицею, оскільки це правильно лише під одним тлумаченням того, якою має бути підсумкова статистика (можливі дві). Залишаючи читача інтерпретувати окремі клітини, як правило, дав би правильний результат.

(Здається, ваші багатючі коментарі свідчать, що вас найбільше турбують нерівні N питань, а Сімпсон ширший за це, тому я неохоче зупиняюсь на нерівній проблемі N. Можливо, задайте більш цілеспрямоване питання. Крім того, ви, здається, думаєте, що я Я виступаю за висновок про нормалізацію. Я - ні. Я стверджую, що вам потрібно врахувати, що підсумкова статистика є відносно довільною, і що вибір деяким аналітиком породжував парадокс. Далі я стверджую, що ви дивитесь на клітини, які ви є.)

Одне важливе «відібрати» полягає в тому, що якщо призначення лікування непропорційне між підгрупами, потрібно враховувати підгрупи під час аналізу даних.

Другим важливим «відривом» є те, що спостережливі дослідження особливо схильні давати неправильні відповіді через невідому присутність парадоксу Сімпсона. Це тому, що ми не можемо виправити той факт, що Лікування А, як правило, призначалося складнішим випадкам, якщо ми не знаємо, що це було.

У правильно рандомізованому дослідженні ми можемо (1) виділити лікування випадковим чином, так що надання «несправедливої ​​переваги» одному лікуванню є малоймовірним і автоматично буде опікуватися при аналізі даних, або (2) якщо є важлива причина Для цього розподіліть методи лікування випадковим чином, але непропорційно на основі відомої проблеми, а потім врахуйте це питання під час аналізу.