Як процедури FDR оцінюють помилковий показник виявлення без моделі базових ставок?

Чи може хтось пояснити, наскільки процедури FDR здатні оцінити FDR без моделі / припущення про базову ставку справжніх позитивних результатів?

Я думаю, що це дійсно гарне питання; занадто багато людей використовують процедуру Бенджаміні-Хохберга (скорочено BH; можливо, найпопулярніша процедура контролю FDR) як чорну скриньку. Дійсно, є основні припущення, які він робить у статистиці, і це добре приховано у визначенні p-значень!

Для чітко визначеного p-значення справедливо, що рівномірно розподілений ( ) під нульовою гіпотезою. Іноді навіть може бути, що , тобто, що стохастично менше, ніж рівномірний, але це лише робить процедури більш консервативними (і тому все-таки справедливими). Таким чином, обчислюючи ваші p-значення, використовуючи t-тест або справді будь-який тест на ваш вибір, ви надаєте інформацію про розподіл під нульовою гіпотезою.$P$$P$$P\sim U[0,1]$$\Pr[P\leq t] \leq t$$P$

Але зауважте тут, що я продовжував говорити про нульову гіпотезу; тож те, що ви згадали про знання базової ставки справжніх позитивних результатів, не потрібно, вам потрібно лише знання базової ставки помилкових позитивних результатів! Чому це?

Нехай позначає кількість всіх відхилених (позитивних) гіпотез, а - хибні позитиви, тоді:$R$$V$

Отже, для оцінки FDR потрібен спосіб оцінки , . Зараз ми розглянемо правила прийняття рішень, які відкидають усі p-значення . Щоб це було зрозуміло в нотації, я також напишу для відповідних величин / випадкових змінних такої процедури.$\mathbb E[R]$$\mathbb E[V]$$\leq t$$FDR(t),R(t),V(t)$

Оскільки - це лише очікування від загальної кількості відхилень, ви можете неупереджено оцінити його за кількістю відхилень, які ви спостерігаєте, так , тобто просто підрахувавши кількість ваших p-значень .$\mathbb E[R(t)]$$\mathbb E[R(t)] \approx R(t)$$\leq t$

А що з ? Добре припустимо, що ваших загальних гіпотез є нульовими гіпотезами, то за допомогою рівномірності (або нерівномірності) p-значень під нулем ви отримаєте:$\mathbb E[V]$$m_0$$m$

Але ми досі не знаємо , але знаємо, що , тому консервативна верхня межа просто буде . Тому, оскільки нам просто потрібна верхня межа щодо кількості помилкових позитивних результатів, достатньо, щоб ми знали їх розподіл! І саме це робить процедура БГ.$m_0$$m_0 \leq m$$\mathbb E[V(t)] \leq m t$

Отже, хоча коментар Ааронга Зенга про те, що "процедура БХ - це спосіб контролювати FDR на заданому рівні q. Не йдеться про оцінку FDR", не є помилковою, вона також є дуже оманливою! Процедура ВН фактично робить оцінити ФДС для кожного заданого порогового . І тоді він вибирає найбільший поріг, такий, що розрахунковий FDR нижче . Дійсно, «скориговане p-значення» гіпотези по суті є лише оцінкою FDR на порозі (аж до ізотонізації). Я думаю, що стандартний алгоритм BH трохи приховує цей факт, але легко показати еквівалентність цих двох підходів (їх також називають "теоремою еквівалентності" в літературі про множинні тестування).$t$$\alpha$$i$$t=p_i$

На завершення є такі методи, як процедура Storey, які навіть оцінюють з даних; це може збільшити потужність на крихітний шматочок. Також в принципі ви праві, можна також моделювати розподіл за альтернативою (ваша справжня позитивна базова ставка), щоб отримати більш потужні процедури; але поки що багаторазові дослідження тестування в основному були зосереджені на підтримці контролю над помилкою I типу, а не на максимальній потужності. Однією з труднощів було б також те, що у багатьох випадках кожна ваша справжня альтернатива матиме різний альтернативний розподіл (наприклад, різну потужність для різних гіпотез), тоді як під нульовим значенням усі p-значення мають однаковий розподіл. Це ускладнює моделювання справжньої позитивної ставки.$m_0$

Як запропонував @air, процедура Бенджаміні-Хохберга (BH) гарантує контроль FDR. Це не має на меті його оцінювати. Таким чином, це вимагає лише слабкого припущення залежності між тестовою статистикою. [1,2]

Методи, спрямовані на оцінку FDR [наприклад, 3,4,5], вимагають певних припущень щодо генеративного процесу, щоб оцінити його. Зазвичай вони вважають, що статистика випробувань є незалежною. Вони також припустять щось про нульовий розподіл тестової статистики. Відхилення від цього нульового розподілу разом із припущенням про незалежність можуть бути віднесені до ефектів, і FDR може бути оцінено.

Зауважимо, що ці ідеї з'являються в літературі про напівпіднагляд щодо виявлення новинок. [6].

[1] Бенджаміні, Ю. та Хохберг. "Контроль помилкової частоти виявлення: практичний та потужний підхід до багаторазового тестування". СЕРІЯ СТАТИСТИЧНОГО СУСПІЛЬНОСТІ ЖУРНАЛ-РОЯЛЬСЬКА 57 (1995): 289-228.

[2] Бенджаміні, Ю. та Д. Єкутіелі. "Контроль частоти помилкових виявлень при багаторазовому тестуванні в залежності". РІЧНИКИ СТАТИСТИКИ 29, вип. 4 (2001): 1165–88.

[3] Сторі, JD "Прямий підхід до помилкових цін на відкриття". Журнал Королівського статистичного товариства, серія B 64, вип. 3 (2002): 479–98. doi: 10.1111 / 1467-9868.00346.

[4] Ефрон, Б. “Мікромаси, емпіричний байєс та двогрупова модель”. Статистична наука 23, вип. 1 (2008): 1–22.

[5] Джин, Джіашун та Т. Тоні Кай. "Оцінка нульового і частки ненульових ефектів у великомасштабних множинних порівняннях". Журнал Американської статистичної асоціації 102, вип. 478 (1 червня 2007 р.): 495–506. doi: 10.1198 / 016214507000000167.

[6] Клайнсен, Марк, Джессі Девіс, Френк Де Смет і Барт Де Мур. "Оцінка двійкових класифікаторів, використовуючи лише позитивні та немечені дані". arXiv: 1504.06837 [cs, Stat], 26 квітня 2015. http://arxiv.org/abs/1504.06837 .

Коли справжня основна модель невідома, ми не можемо обчислити FDR, але можемо оцінити значення FDR за допомогою тесту перестановки . В основному процедура тестування перестановки - це просто тест гіпотези кілька разів, змінюючи змінний вектор результату з його перестановками. Це також можна зробити на основі перестановок зразків, але не так часто, як попередні.

У статті тут розглядається стандартна процедура перестановки для оцінки ПБО, а також запропонований новий оцінювач FDR. Він повинен мати можливість вирішити ваше питання.