Бенджаміні та Хохберг розробили перший (і досі найбільш широко використовується, я думаю,) метод контролю швидкості виявлення помилок (FDR).

Я хочу розпочати з купки значень P, кожне для іншого порівняння, і вирішити, які з них досить низькі, щоб їх можна було назвати "відкриттям", контролюючи FDR до заданого значення (скажімо, 10%). Одне з припущень звичайного методу полягає в тому, що набір порівнянь або незалежний, або має "позитивну залежність", але я не можу точно зрозуміти, що означає ця фраза у контексті аналізу набору значень P.

З Вашого питання і , зокрема , ваші коментарі до інших відповідей, мені здається , що ви в основному плутати про «великий картині» тут: а саме те , що робить «позитивна залежність» відноситься в даному контексті взагалі - на відміну від того, що - технічне значення умови PRDS. Тож я розповім про велику картину.

Велика картина

Уявіть, що ви перевіряєте нульових гіпотез, і уявіть, що всі вони правдиві. Кожне з N p- значень - випадкова величина; Повторний експеримент знову і знову давав би різницю p -значення кожного разу, тому можна говорити про розподіл p -значень (під нулем). Загальновідомо, що для будь-якого тесту розподіл р- значень під нулем має бути рівномірним; тому у випадку тестування мультиплікації всі N граничні розподіли p- значень будуть рівномірними.$N$$N$ $p$$p$$p$$p$$N$$p$

Якщо всі дані та всі тестів незалежні один від одного, то спільний N- розмірний розподіл p- значень також буде рівномірним. Це буде правдою, наприклад, у класичній ситуації з «квасолею», коли випробовується купа незалежних речей:$N$$N$$p$

Однак це не повинно бути таким. Будь-яка пара -значень може в принципі співвідноситись як позитивно, так і негативно, або залежати дещо складнішим чином. Розглянемо тестування всіх парних відмінностей у засобах між чотирма групами; це N = 4 ⋅ 3 / 2 = 6 тестів. Кожне з шести р- значень поодинці розподілено рівномірно. Але всі вони позитивно співвідносяться: якщо (за певної спроби) група А випадково має особливо низьке середнє значення, то порівняння A-B-B може дати низьке значення p (це було б помилковим позитивом). Але в цій ситуації цілком ймовірно , що A-проти-C, а також А-проти-D, також дають низьку $p$$N=4\cdot 3/2=6$$p$$p$$p$-значення. Таким чином, -значення, очевидно, не є незалежними, а крім того, вони позитивно співвідносяться між собою.$p$

Це неофіційно те, на що йдеться про "позитивну залежність".

Здається, це звичайна ситуація при багаторазовому тестуванні. Іншим прикладом може бути тестування на відмінності кількох змінних, які корелюють між собою. Отримання значної різниці в одному з них збільшує шанси на отримання значної різниці в іншому.

Складно придумати природний приклад, коли -значення будуть "негативно залежними". @ user43849 зауважив у коментарях вище, що для однобічних тестів це легко:$p$

Уявіть, що я тестую, чи A = 0, а також B = 0 проти однохвостих альтернатив (A> 0 і B> 0). Далі уявіть, що B залежить від А. Наприклад, уявіть, що я хочу знати, чи популяція містить більше жінок, ніж чоловіків, а також чи популяція містить більше яєчників, ніж яєчок. Чітке знання p-значення першого питання змінює наше очікування p-значення для другого. Обидва р-значення змінюються в одному напрямку, і це PRD. Але якщо я замість цього перевіряю другу гіпотезу про те, що в популяції 2 є більше яєчок, ніж яєчників, наше сподівання на друге р-значення зменшується зі збільшенням першого p-значення. Це не PRD.

Але я поки що не міг придумати природний приклад з точковими нулями.

Зараз точна математична постановка "позитивної залежності", яка гарантує обгрунтованість процедури Бенджаміні-Гохберга, є досить хитрою. Як вже згадувалося в інших відповідях, головне посилання - Бенджаміні і Єкутіелі 2001 ; вони показують, що властивість PRDS ("залежність позитивної регресії для кожного з підмножини") тягне за собою процедуру Бенджаміні-Гохберга. Це розслаблена форма властивості PRD ("позитивна регресійна залежність"), тобто PRD передбачає PRDS, а отже, також тягне за собою процедуру Бенджаміні-Хохберга.

Для визначення PRD / PRDS див. Відповідь @ user43849 (+1) та папір Benjamini & Yekutieli. Визначення є досить технічними, і я не маю належного інтуїтивного розуміння їх. Насправді, B&Y також згадують кілька інших пов'язаних з цим понять: багатоваріантна загальна позитивність порядку другого (MTP2) та позитивна асоціація. За даними B&Y, вони пов'язані так (схема моя):

$\hskip{10em}$

MTP2 передбачає PRD, що передбачає PRDS, що гарантує правильність процедури БХ. ПДР також має на увазі PA, але ПА РОУ.$\ne$

Чудове запитання! Давайте відступимо і розберемося, що зробив Бонферроні, і чому Бенджаміні та Хохбергу потрібно було розробити альтернативу.

В останні роки стало необхідним і обов'язковим виконувати процедуру, що називається багаторазовою корекцією тестування. Це пов’язано зі збільшенням кількості тестів, які проводяться одночасно з науками з високою пропускною здатністю, особливо в генетиці з появою цілих досліджень асоціації геномів (GWAS). Вибачте моє посилання на генетику, оскільки це моя сфера роботи. Якщо ми проводимо 1,000,000 тестів одночасно на , ми очікували б 50 , 000 помилкових спрацьовувань. Це смішно велике значення, і тому ми повинні контролювати рівень, на якому оцінюється значимість. Корекція бонферроні, тобто ділення порогу прийняття (0,05) на кількість незалежних тестів ( 0,05 /$P = 0.05$$50,000$ виправляє ступінь помилки сімейної помилки ( F W E R ).$(0.05/M)$$FWER$

Це справедливо тому , що FWER пов'язано з частотою помилок тест-навхрест ( ) рівнянням Р Ш Е R = 1 - ( 1 - Т Ш Е Р ) М . Тобто на 100 відсотків мінус 1 віднімаємо тестову швидкість помилок, підняту на потужність кількості незалежних тестів. Зробимо припущення, що ( 1 - 0,05 ) 1 / М = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$ даєTWER≈$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ , що є значенням приймання Р, скоригованим для M повністю незалежних тестів.$TWER \approx \frac{0.05}{M}$

Проблема, з якою ми стикаємось зараз, як і Бенджаміні та Хохберг, полягає в тому, що не всі тести є абсолютно незалежними. Таким чином, корекція Бонферроні, хоч і міцна і гнучка, є надмірною корекцією . Розглянемо випадок у генетиці, коли два гена пов'язані у випадку, який називається зв’язковою нерівновагою; тобто коли один ген має мутацію, інший, швидше за все, експресується. Це, очевидно, не незалежні тести, хоча в корекції бонферроні вони передбачаються . Тут ми починаємо бачити, що ділення значення P на M створює поріг, який є штучно низьким через припущені незалежні тести, які реально впливають один на одного, ерго створюючи М, занадто великий для нашої реальної ситуації, де речі не є Незалежний.

Процедура, запропонована Бенджаміні та Хохбергом та доповнена Єкутіелі (та багатьма іншими), є більш ліберальною, ніж Бонферроні, і фактично корекція Бонферроні використовується лише у самих найбільших дослідженнях, що зараз є. Це тому, що в FDR ми припускаємо деяку взаємозалежність з боку тестів, і, таким чином, М, який є занадто великим і нереальним і позбавляється від результатів, які нас насправді хвилюють. Тому у випадку 1000 тестів, які не є незалежними, справжній M не буде 1000, а щось менше через залежності. Таким чином, коли ми ділимо 0,05 на 1000, поріг є занадто суворим і уникає деяких тестів, які можуть представляти інтерес.

Я не впевнений, чи не піклуєтесь ви про механіку, яка стоїть за контролем залежності, хоча, якщо ви це зробите, я зв'язав документ Єкутіелі для вашої довідки. Я також додаю ще кілька речей для вашої інформації та цікавості.

Сподіваюсь, це допомогло якимось чином, якщо я щось неправильно представив, будь ласка, дайте мені знати.

~ ~ ~

Список літератури

Документ Yekutieli про позитивні залежності - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(див. 1.3 - Проблема.)

Пояснення Бонферроні та інших цікавих речей - відгуки Nature Genetics. Статистичні випробування на владу та значимість у масштабних генетичних дослідженнях - Пак С Шам та Шаун М Перселл

(див. графі 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

Редагувати:

У своїй попередній відповіді я не визначав безпосередньо позитивну залежність, про що і питали. У статті Єкутіелі розділ 2.2має назву Позитивна залежність, і я пропоную це, оскільки він дуже детальний. Однак я вважаю, що ми можемо зробити це трохи більш лаконічним.

Стаття спочатку починається з розмови про позитивну залежність, використовуючи її як розпливчастий термін, який можна інтерпретувати, але не конкретно. Якщо ви читаєте докази, то, що згадується як позитивна залежність, називається PRSD, визначеним раніше як "Залежність позитивної регресії для кожного з підмножини ". I 0 - це підмножина тестів, які правильно підтримують нульову гіпотезу (0). Потім PRDS визначається наступним чином.$I_0$$I_0$

- це весь наш набір тестових статистик, а I 0 - це наш набір статистичних даних тестів, які правильно підтримують нуль. Таким чином, для того, щоб X був PRDS (позитивно залежним) від I 0 , ймовірність того, що X є елементом I 0 (нульовихзначень), збільшується у не зменшуваному наборі статистичних даних тестів x (елементи X ).$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

Інтерпретуючи це, коли ми впорядковуємо наші від найнижчого до найвищого, ймовірність бути частиною нульового набору тестових статистик є найнижчою при найменшому значенні Р, а звідти збільшується. FDR встановлює межу в цьому списку тестової статистики таким чином, що ймовірність бути частиною нульового набору становить 0,05. Це те, що ми робимо, контролюючи FDR.$P$

Підсумовуючи, властивість позитивної залежності насправді є властивістю позитивної регресії всієї сукупності тестових статистик від нашого набору справжньої нульової статистики випробувань, і ми контролюємо FDR 0,05; таким чином, оскільки значення P йдуть знизу вгору (процедура посилення), вони збільшують ймовірність бути частиною нульового набору.

Моя колишня відповідь у коментарях щодо матриці коваріації була невірною, лише трохи розпливчастою. Я сподіваюся, що це допоможе трохи більше.

Я вважав цей переддрук корисним для розуміння сенсу. Слід сказати, що я пропоную цю відповідь не як експерт у цій темі, а як спробу зрозуміти, щоб бути перевіреною та підтвердженою громадою.

Завдяки Amoeba за дуже корисні спостереження щодо різниці між PRD та PRDS, дивіться коментарі

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

$p_n$$p_n < B$$B$$p_n < B$. If the p-values are independent, then our expectation for the remaining p-values is the uniform distribution from 0 to 1. But if the p-values are not independent, then knowing $p_n < B$ might change our expectation for the remaining p-values. PRDS says that increasing the value of $B$ must not decrease our expectation for any of the remaining p-values corresponding to the true null hypotheses.

Edited to add:

Here's a putative example of a system that is not PRDS (R code below). The logic is that when samples a and b are very similar, it is more likely that their product will be atypical. I suspect that this effect (and not the non-uniformity of p-values under the null for the (a*b), (c*d) comparison) is driving the negative correlation in the p-values, but I cannot be sure. The same effect appears if we do a t-test for the second comparison (rather than a Wilcoxon), but the distribution of p-values still isn't uniform, presumably due to violations of the normality assumption.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

In their paper, Benjamini and Yekutieli provide some examples of how positive regression dependence (PRD) is different from just being positively associated. The FDR control procedure relies on a weaker form of PRD which they call PRDS (i.e. PRD on each one from a subset of variables).

Positive dependency was originally proposed in the bivariate setting by Lehmann, but the multivariate version of this concept, known as positive regression dependency is what is relevant to multiple testing.

Here is a relevant excerpt from pg.6

Nevertheless, PRDS and positive association do not imply one another, and the difference is of some importance. For example, a multivariate normal distribution is positively associated iff all correlations are nonnegative. Not all correlations need be nonnegative for the PRDS property to hold (see Section 3.1, Case 1 below). On the other hand, a bivariate distribution may be positively associated, yet not positive regression dependent [Lehmann (1966)], and therefore also not PRDS on any subset. A stricter notion of positive association, Rosenbaum’s (1984) conditional (positive) association, is enough to imply PRDS: $\mathbf{X}$ is conditionally associated, if for any partition $(\mathbf{X}_1, \mathbf{X}_2)$ of $\mathbf{X}$, and any function $h(\mathbf{X}_1)$, $\mathbf{X}_2$ given $h(\mathbf{X}_1)$ is positively associated. It is important to note that all of the above properties, including PRDS, remain invariant to taking comonotone transformations in each of the coordinates [Eaton (1986)].

$$\ldots$$ Background on these concepts is clearly presented in Eaton (1986), supplemented by Holland and Rosenbaum (1986).

Positive dependence in this case means that the set of tests are positively correlated. The idea then is that if the variables in the set of tests that you have P-values for are positively correlated then each of the variables are not independent.

If you think back about a Bonferroni p-value correction, for example, you can guarantee that the type 1 error rate is less than 10% over say 100 statistically independent tests by setting your significance threshold to 0.1/100 = 0.001. But, what if each of those 100 tests a correlated in some way? Then you haven't really performed 100 separate tests.

In FDR, the idea is slightly different than the Bonferroni correction. The idea is to guarantee that only a certain percent (say 10%) of the things you declare significant are falsely declared significant. If you have correlated markers (positive dependence) in your dataset, the FDR value is chosen based on the total number of tests you perform (but the actual number of statistically independent tests is smaller). In this way it is more safe to conclude that the false discovery rate is falsely declaring significant 10% or less of the tests in your set of P-values.

Please see this book chapter for a discussion of positive dependence.