Приклад, де має значення принцип правдоподібності * насправді *?

Чи є приклад, коли два різних тести, що захищаються, з пропорційною ймовірністю призвели б до помітно різних (і однаково захищаються) висновків, наприклад, де значення p є порядком величин, але потужність до альтернатив аналогічна?

Усі приклади, які я бачу, є дуже нерозумними, порівнюючи двочлен з негативним двочленним, де р-значення першого становить 7%, а другого 3%, які є "різними" лише в тому випадку, якщо один приймає бінарні рішення щодо довільних порогів з такою значимістю, як 5% (що, до речі, є досить низьким стандартом для висновку) і навіть не намагаються дивитися на потужність. Наприклад, якщо я зміню поріг на 1%, то обидва призводять до одного і того ж висновку.

Я ніколи не бачив прикладу, де це призвело б до помітно різних і захищаючих висновків. Чи є такий приклад?

Я запитую, бо я бачив стільки чорнила, витраченого на цю тему, ніби Принцип ймовірності є чимось фундаментальним у основах статистичного висновку. Але якщо найкращим прикладом є дурні приклади, подібні до наведеного вище, принцип здається абсолютно несуттєвим.

Таким чином, я шукаю дуже переконливий приклад, коли, якщо не слідкувати за LP, маса доказів буде в основному вказувати в один бік, даючи один тест, але, в іншому тесті з пропорційною ймовірністю, вага доказів буде бути переважно вказувати у зворотному напрямку, і обидва висновки виглядають розумними.

В ідеалі, можна продемонструвати, що ми можемо мати довільно далекі, але розумні відповіді, такі як тести з $p =0.1$ проти з пропорційною ймовірністю та еквівалентною потужністю для виявлення тієї ж альтернативи.$p= 10^{-10}$

PS: Відповідь Брюса взагалі не стосується цього питання.

Подумайте про гіпотетичну ситуацію, коли гіпотеза точкової нулі є істинною, але витримуєте вибірку до $p<0.05$ (це завжди відбудеться рано чи пізно, тобто це станеться з ймовірністю 1), а потім вирішить припинити пробний процес і відхилити нуль. Це загальновизнане правило зупинки, але врахуйте це заради аргументу.

Ця дебільна процедура матиме 100% помилок типу I, але в цьому немає нічого поганого відповідно до Принципу ймовірності.

Я б сказав, що це має значення як "справді". Звичайно, ви можете вибрати будь-який $\alpha$ у цьому аргументі. Якщо бажають, байєси можуть використовувати фіксовану межу за коефіцієнтом Байєса. Ця ж логіка застосовується. Основний урок тут полягає в тому, що ви не можете дотримуватися LP та мати гарантію рівня помилок. Безкоштовного обіду немає.

Відмова: Я вважаю, що ця відповідь лежить в основі всього аргументу, тому варто обговорити, але я не повністю дослідив цю проблему. Тому я вітаю виправлення, уточнення та коментарі.

Найважливіший аспект стосується послідовно зібраних даних. Наприклад, припустимо, що ви спостерігали бінарні результати, і ви побачили 10 успіхів і 5 невдач. Принцип ймовірності говорить про те, що ви повинні прийти до одного і того ж висновку щодо ймовірності успіху, незалежно від того, чи збирали ви дані, поки у вас не було 10 успіхів (негативний двочлен) або не пройшли 15 випробувань, з яких 10 були успіхами (двочленними) .

Чому це має будь-яке значення?

Оскільки згідно з принципом ймовірності (або, принаймні, певної його інтерпретації), цілком чудово дозволити впливати на дані, коли ви збираєтесь зупинити збір даних, не змінюючи інструменти висновку.

Конфлікт з послідовними методами

Ідея, що використовувати ваші дані, щоб вирішити, коли припинити збирати дані, не змінюючи ваші інфекційні засоби, повністю летить перед традиційними методами послідовного аналізу. Класичний приклад цього - з методами, які використовуються в клінічних випробуваннях. З метою зменшення потенційного впливу шкідливих методів лікування часто аналізують дані в проміжні періоди до того, як буде зроблений аналіз. Якщо випробування ще не закінчилося, але в дослідників вже є достатньо даних, щоб зробити висновок про те, що лікування діє чи є шкідливим, медична етика говорить нам, що ми повинні припинити випробування; якщо лікування працює, етично припинити випробування і почати надавати лікування доступним для пацієнтів, які не отримують судового розгляду. Якщо це шкідливо, етичніше зупинятись, щоб ми припиняли піддавати пацієнтам пробне лікування шкідливому лікуванню.

Проблема полягає в тому, що ми почали проводити кілька порівнянь, тому ми збільшили рівень помилок типу I, якщо не підкоригували наші методи для врахування кількох порівнянь. Це не зовсім те саме, що традиційні багаторазові порівняння, оскільки це дійсно багаторазове часткове порівняння (тобто якщо ми аналізуємо дані один раз з 50% зібраних даних та один раз зі 100%, ці два зразки явно не є незалежними!) , але в цілому, чим більше порівнянь ми робимо, тим більше нам потрібно змінювати наші критерії відхилення нульової гіпотези, щоб зберегти показник помилок типу I, при цьому планується більше порівнянь, що потребують більше доказів для відхилення нуля.

Це ставить клінічних дослідників перед дилемою; чи хочете ви часто перевіряти свої дані, але потім збільшуйте необхідні докази, щоб відхилити нуль, чи ви хочете нечасто перевіряти свої дані, збільшуючи владу, але потенційно не діючи оптимально стосовно медичної етики (тобто, можливо, затримати товар на ринку або непотрібно довго піддавати пацієнтів шкідливому лікуванню).

Моє (можливо, помилкове) розуміння, що принцип імовірності, як видається, говорить нам про те, що не важливо, скільки разів ми перевіряємо дані, ми повинні робити той самий висновок. Це в основному говорить про те, що всі підходи до послідовного пробного проектування абсолютно непотрібні; просто використовуйте принцип ймовірності і зупиняйтеся, як тільки ви зібрали достатньо даних, щоб зробити висновок. Оскільки вам не потрібно змінювати свої методи висновків, щоб підкоригувати кількість підготовлених аналізів, немає ніякої дилеми між кількістю перевірених разів та потужністю. Бам, ціле поле послідовного аналізу вирішено (відповідно до цієї інтерпретації).

Особисто для мене це дуже бентежить, що факт, який добре відомий у галузі послідовного проектування, але досить тонкий, полягає в тому, що ймовірність остаточної статистики тесту значною мірою змінюється правилом зупинки; в основному правила зупинки збільшують вірогідність переривчастим способом у точках зупинки. Ось сюжет такого спотворення; пунктирна лінія - це PDF-файл остаточної статистики тесту під нулем, якщо дані аналізуються лише після того, як всі дані зібрані, тоді як суцільна лінія дає вам розподіл під нулем тестової статистики, якщо ви перевіряєте дані 4 рази із заданим значенням правило.

Зважаючи на це, я розумію, що принцип ймовірності, мабуть, означає, що ми можемо викинути все, що ми знаємо про послідовну розробку частот, і забути про те, скільки разів ми аналізуємо наші дані. Зрозуміло, що наслідки цього, особливо для галузі клінічних розробок, величезні. Однак я не замислювався над тим, як вони виправдовують ігнорування того, як зупиняючі правила змінюють ймовірність остаточної статистики.

Деяке світло обговорення можна знайти тут , в основному , на заключних гірках.

Структура тестів LR для експоненціальних даних.

Нехай $X_1, X_2, \dots, X_n$ - випадкова вибірка з $\mathsf{Exp}(\text{rate} =\lambda),$ так що $E(X_i) = \mu = 1/\lambda.$ При $x > 0,$ функція щільності $f(x) = \lambda e^{-\lambda x}$ і ВПР є $F(x) = 1 - e^{-\lambda x}.$

1. Статистика тесту - вибірковий мінімум.

Нехай $V = X_{(1)} = \min_n (X_i).$Тоді $V \sim \mathsf{Exp}(n\lambda).$Як контур доказу,

To test $H_9:\mu \le \mu_0$ against $H_a: \mu > \mu_0,$ at level $\alpha = 5\%,$ we regard $V$ as a single observation from its exponential distribution. We find that the log likelihood ratio indicates rejection when $V > c,$ where $P(V > c\, |\, \mu = \mu_0) = 0.05.$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have exponential rate $10 = n/\mu_0 = 100/10 = 10,$ so that $c = 0.2295$ from R, where the exponential distribution is parameterized by the rate.

 qexp(.95, 10)
 [1] 0.2995732
 1 - pexp(0.2996, 10)
 [1] 0.04998662

Accordingly, the power against the alternative $\mu_a = 100$ (rate $n/\mu_a = 1)$ is about 74%.

1 - pexp(0.2996, 1)
[1] 0.7411146

2. Test statistic is the sample mean.

Oxford U. class notes (second page) show that the likelihood ratio test of $H_0: \mu \le \mu_0$ against $H_0: \mu > \mu_0$ at the 5% level of significance rejects for $\bar X > c,$ where $P(\bar X > c\, |\, \mu = \mu_0) = 0.5.$ Furthermore, one can show using moment generating functions that $\bar X \sim \mathsf{Gamma}(n, n\lambda).$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have $\bar X \sim \mathsf{Gamma}(100, 10),$ so that $c = 11.7.$

qgamma(.95, 100, 10)
[1] 11.69971
1 - pgamma(11.7, 100, 10)
[1] 0.04997338

Accordingly, power against the alternative $\mu_a = 14$ is about 95.6%.

1 - pgamma(11.7, 100, 100/14)
[1] 0.9562513

Clearly, for purposes of testing hypotheses about the exponential mean $\mu,$ the information in the sufficient statistic $\bar X$ is much greater than the information in the sample minimum.

Violation by different pdf functions $f(x,\theta)$ and $g(x,\theta)$

This case will be an example of 'violation' because the probability distribution functions $f(x,\theta)$ $g(x,\theta)$ are intrinsically different. Even when $f$ and $g$, differ, they may relate to the likelihood principle because at fixed measurement $x$ they give the same functions of $\theta$ up to scaling. The difference, opens up a possibility for "violations".

The coin flip with or without optional stopping rule

The coin flip with or without optional stopping rule is a typical example, the pdf is binomial or negative binomial which are different pdf functions and lead to different calculation of p-values, and confidence intervals, but they lead to the same likelihood functions for fixed sample/measurement (up to scaling).

More extreme example

Consider some measurement of $X$ which is distributed as

where $a$ is some known parameter that depends on the type of experiment, and $\theta$ is some parameter that may be unknown and could be inferred from the measurement $x$.

For any given $x$ and $a$ the likelihood function is proportional to the same function that is independent from $a$:

• If $x<1$ then $\mathcal{L}(\theta | x) \propto 1$
• If $x\geq 1$ then $\mathcal{L}(\theta | x) \propto \theta \exp(-\theta (x-1))$

But, albeit the same likelihood function, the p-value can vary widely depending on the experiment (ie the value of $a$). For instance when you measure $x=2$ and test $H_0:\theta = 1$ against $H_0:\theta < 1$ then the p-value is

Intuition: The reason for violation in these cases is that p-values and hypothesis tests are not solely based on the likelihood function for the particular observed value $x$.

The p-value is not calculated from the likelihood $f(θ|x)$ with $x$ fixed, but with the pdf $f(x|θ)$ with $θ$ fixed which is a different slice. Confidence intervals, p-value, and hypothesis tests, are different things than the information from likelihood ratios.

p-values are not really evidence: The p-value relates to type I error which is a measure that relates to an ensemble of measurements rather than to a single measurement. This type I error or p-value is not the same as 'evidential meaning' from Birnbaums 'foundations of statistical evidence'. This relates a lot to the problems with p-values and scientist searching for outcomes solely with statistical significance rather than important effects.

Do we need examples where inferences are markedly different? The extreme case is a contrived example. Such a case, or anything with a similar extreme difference, is of course not occurring easily in practice. It is more often the case that the difference will be small such as in the cases that you refer to as silly.

To ask for examples where the likelihood principle 'really matters', or where two different inferences lead to extremely different results, is a bit of a loaded question. At least when the intention for this question relates to some philosophical argument. It is a loaded question because it presupposes that principles that matter should lead to extremely varying results. In many practical cases the results are however small (in terms of different p-values less than an order). I believe that this is not a strange for two different, but both plausible, methods to result in more or less similar results. I would consider the likelihood principle not to be 'less violated' when the differences are only small.

Ось приклад, адаптований із теорії статистичних рішень та байєсівського аналізу Джеймса О. Бергера (друге видання, сторінка 29).

Скажіть, що два види осів можна відрізнити за кількістю висічок на крилах (назвіть це $x$) і за кількістю чорних кілець навколо живота (називайте це $y$). Розподіл символів у двох видах (марковано)$H_0$ і $H_1$) такі:

Скажіть, що ми знаходимо екземпляр з 1 виїмкою на крилах і 1 кільцем навколо живота. Вага доказів, якщо в 100 разів більша на користь$H_1$ проти $H_0$ для обох персонажів.

Тепер якщо хтось хотів встановити тест на $H_0$ на рівні 5%, правило рішення було б для першого символу «прийняти $H_0$ якщо на крилі є 1 виїмка, інакше відхиліть її ", а для другого символу" прийміть $H_0$якщо навколо живота є 3 кільця, інакше відхиліть його ”. Існує багато інших можливостей, але це найпотужніші тести на цьому рівні. Однак вони приводять до різних висновків для обох персонажів.

Примітка : можна, звичайно, створити тест із правилом «прийняти$H_0$якщо навколо живота є 1 або 3 кільця, інакше відхиліть його ». Питання полягає в тому, чи не віддавати перевагу випробуванню на рівні 5% з ризиком II типу 0, або тесту на рівні 4,9% з ризиком II типу 0,00001. Різниця настільки мала, що нам, мабуть, було б не байдуже, але, як я це розумію, це суть аргументу принципу ймовірності: не годиться робити результат залежним від чогось, що здається неактуальним.

Функції ймовірності пропорційні, і все ж р-значення $x = 1$ становить 0,95, та $y = 1$ дорівнює 0,001 (припускаючи, що ми відкидаємо $H_0$ з подіями форми $y \leq \alpha$). Зі структури таблиці видно, що я міг вибрати будь-яке число, менше 0,001. Також ризик відхилення типу II дорівнює 0, тому, схоже, тут немає нічого поганого.

Я все-таки визнаю, що цей приклад дещо надуманий і не зовсім чесний, оскільки він грає з труднощами впорядкування тестів з дискретними даними. Можна було знайти еквівалентні приклади із суцільними даними, але вони були б ще більш надуманими. Я погоджуюся з ОП, що принцип ймовірності майже не має практичного значення; Я трактую це як принцип, щоб гарантувати певну послідовність у теорії.