Чи застосовується «Теорема без вільного обіду» для загальних статистичних тестів?

Жінка, для якої я працював, попросила мене зробити ANOVA в одну сторону за деякими даними. Я відповів, що дані були повторними заходами (часовими рядами) і вважаю, що припущення про незалежність порушено. Вона відповіла, що я не повинен турбуватися про припущення, просто зробіть тест, і вона врахує, що припущення, можливо, не були виконані.

Це мені не здавалося правильним. Я провів кілька досліджень і знайшов цю чудову допис у блозі Девіда Робінсона, K - означає, що кластеризація не є безкоштовним обідом , який піддав мене теоремі "Безкоштовний обід". Я переглянув оригінальний папір і деякі наступні речі, і, відверто кажучи, математика трохи над головою.

Суть цього - за словами Девіда Робінсона - здається, що сила статистичного тесту виходить із його припущень. І він наводить два чудових приклади. Коли я переглядаю інші статті та повідомлення в блогах про це, схоже, на це завжди посилаються або під керуванням навчанням, або з пошуку.

Отже, моє запитання: чи ця теорема застосовується взагалі до статистичних тестів? Іншими словами, чи можна сказати, що сила t-тесту або ANOVA походить від його прихильності до припущень, і навести теорему "Без вільного обіду"?

Я завдячую моєму колишньому начальнику остаточним документом щодо роботи, яку я зробив, і хотів би знати, чи можу я посилатись на Теорему безвічного обіду, заявивши, що ви не можете просто проігнорувати припущення статистичного тесту і сказати, що ви це врахуєте врахування при оцінці результатів.

Я не знаю доказів, але, думаю, це стосується цілком загального характеру. Приклад - експеримент з 2 суб'єктами в кожній з 2 груп лікування. Тест Вілкоксона не може бути значущим на рівні 0,05, але t-тест може. Можна сказати, що його потужність виходить більше половини з припущень, а не лише з даних. До вашої первинної проблеми не доцільно діяти так, як ніби спостереження за кожним суб'єктом не залежать. Беручи до уваги речі після факту, звичайно, не є хорошою статистичною практикою, за винятком дуже особливих обставин (наприклад, кластерні сендвіч-оцінки).

Ви можете навести теорему "Без вільного обіду", якщо хочете, але ви також можете просто навести Модус Поненс (також відомий як Закон про відмову , основу дедуктивних міркувань), що є коренем теореми "Без вільного обіду" .

Теорема " Без вільного обіду" охоплює більш конкретну ідею: той факт, що не існує алгоритму, який би міг відповідати всім цілям. Іншими словами, теорема "Без вільного обіду" в основному говорить про відсутність алгоритмічної магічної кулі . Це коріння у Modus Ponens, оскільки для алгоритму чи статистичного тестування, щоб дати правильний результат, потрібно задовольнити передумови.

Як і у всіх математичних теоремах, якщо ви порушуєте припущення, то статистичний тест просто порожній, і ви не можете отримати з нього жодної правди. Отже, якщо ви хочете пояснити свої дані за допомогою свого тесту, ви повинні припустити, що потрібні умови виконуються, якщо їх немає (і ви це знаєте), то ваш тест невірний.

Це тому, що наукове обґрунтування базується на дедукції: в основному ваш тест / закон / теорема - це правило імплікації , яке говорить про те, що якщо у вас є припущення, Aви можете зробити висновок B: A=>Bале якщо у вас цього немає A, ви можете мати Bабо ні B, і обидва випадки є істинними , це один з основних принципів логічного виведення / дедукції (правило Modus Ponens). Іншими словами, якщо ви порушите передумови, результат не має значення, і ви нічого не можете вивести .

Запам’ятайте двійкову таблицю наслідків:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Тож у вашому випадку, для спрощення, у вас є Dependent_Variables => ANOVA_correct. Тепер, якщо ви використовуєте незалежні змінні, таким чином, Dependent_Variablesє False, то імплікація буде істинною, оскільки Dependent_Variablesприпущення порушено.

Звичайно, це спрощено, і на практиці ваш тест ANOVA може все-таки повернути корисні результати, оскільки майже завжди існує певна ступінь незалежності між залежними змінними, але це дає вам уявлення, чому ви просто не можете покластися на тест, не виконавши припущення. .

Однак ви також можете використовувати тести, які не задовольняють оригінал, зменшуючи проблему: явно послаблюючи обмеження незалежності, ваш результат все ще може бути значимим, але не гарантованим (адже тоді ваші результати стосуються зменшеної проблеми, а не повна проблема, тому ви не можете перекладати всі результати, за винятком випадків, коли зможете довести, що додаткові обмеження нової проблеми не впливають на ваш тест і, отже, на ваші результати).

На практиці це часто використовується для моделювання практичних даних, наприклад, за допомогою Naive Bayes, шляхом моделювання залежних (замість незалежних) змінних, використовуючи модель, яка передбачає незалежні змінні, і дивно, що це працює дуже добре, а іноді і краще, ніж моделі обліку для залежностей . Вас також може зацікавити це питання про те, як користуватися ANOVA, коли дані не відповідають усім очікуванням .

Підсумовуючи це: якщо ви маєте намір працювати над практичними даними, і ваша мета - не довести який-небудь науковий результат, а створити систему, яка просто працює (тобто веб-сервіс або будь-яке практичне застосування), припущення про незалежність (а можливо й інші припущення) Ви можете розслабитися, але якщо ви намагаєтеся вивести / довести якусь загальну істину , то завжди слід використовувати тести, які ви можете математично гарантувати (або принаймні безпечно і доказово припустити), що ви задовольняєте всі умови .