Я читав лемму Неймана-Пірсона з книги " Вступ до теорії статистики " Мудом, Грейбілл та Боєм. Але я не зрозумів лему.

Хто-небудь може пояснити мені лему простими словами? Про що йдеться?

Лемма Неймана-Пірсона: Нехай - випадкова вибірка з , де - одне з двох відомих значень та , і нехай фіксується .$X_1,\ldots,X_n$$f(x;\theta)$$\theta$$\theta_0$$\theta_1$$0<\alpha<1$

Нехай - позитивна константа, а - підмножина які задовольняють: Тоді тест , відповідна критичної області є найбільш потужним критерієм розміру з проти$k^*$$C^*$$\mathscr X$

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ $\gamma^*$$C^*$$\alpha$$\mathscr H_0:\theta=\theta_0$$\mathscr H_1:\theta=\theta_1$

Висловлений словами, я зрозумів, що два критерії визначають

(1) P [відхилення нульової гіпотези | нульова гіпотеза вірна] = рівень значущості

(2) відхилити нульову гіпотезу, коли коефіцієнт ймовірності , деяка позитивна константа якщо потрапляють у критичну область$\lambda\le$$k^*$$(x_1,\ldots,x_n)$

Тоді тест є найпотужнішим тестом з простої гіпотези .

• Чому це лише для простих гіпотез? Хіба це не може бути для складеної гіпотези? Чи правильне моє пояснення словами?

Я думаю, ти добре зрозумів лему.

Чому це не працює для складеної альтернативи? Як ви бачите у співвідношенні ймовірності, нам потрібно підключити параметр (и) для альтернативної гіпотези. Якщо альтернатива складена, до якого параметра ви збираєтесь підключити?

Нещодавно я написав запис у блозі, пов’язаному із зв’язком, в якому зазначив лемму Неймана Пірсона простими словами та наводив приклад. Я знайшов приклад відкривання очей у сенсі надання чіткої інтуїції леми. Як часто в імовірності, вона заснована на дискретній функції масової ймовірності, тому її легше здійснити, ніж при роботі з форматом pdf. Крім того, врахуйте, що я визначаю коефіцієнт ймовірності як вірогідність альтернативної гіпотези проти нульової гіпотези, всупереч вашому твердженню леми. Пояснення те саме, але швидше, ніж менше, ніж зараз. Я сподіваюся, що це допоможе ...

Ті з вас, хто працює в аналізі даних і пройшов деякі курси статистики, можливо, ознайомилися з леммою Неймана-Пірсона (NP-лема). Повідомлення просте, демонстрація не стільки, але те, що мені завжди було важко, - це зрозуміти здоровий глузд того, про що йдеться. Читаючи книгу PIGood та JWHardin під назвою "Найпоширеніші помилки у статистиці", я дійшов до пояснення та прикладу, який допоміг мені відчути це відчуття кишки щодо NP-леми, яку я завжди пропускав.

Не 100-відсотково математично досконала мова, про що говорить Нейман-Пірсон, - це те, що найпотужніший тест, який можна визначити, щоб підтвердити задану гіпотезу в межах певного рівня значущості, задається областю відхилення, зробленою всіма можливими спостереженнями, що випливають із цього тесту коефіцієнт ймовірності вище певного порогу ... ваа! Хто сказав, що це легко!

Зберігайте спокій і деконструюйте лему:

1. Гіпотеза . У статистиці завжди працює з двома гіпотезами про те, що статистичний тест слід відхиляти чи не відхиляти. Існує нульова гіпотеза, яка не буде відхилена, доки вибіркові докази проти неї не будуть досить сильними. Існує також альтернативна гіпотеза - та, яку ми візьмемо, якщо нуль здається помилковим.
2. Сила тесту (також чутливість) говорить нам, у якій кількості разів ми будемо правильно відкидати нульову гіпотезу, коли вона неправильна. Ми хочемо потужних тестів, тому більшу частину часу ми відкидаємо нульову гіпотезу, що ми праві!
3. Рівень значущості тесту (він також називає помилковою позитивною швидкістю) говорить нам, у якій кількості разів ми помилково відкинемо нульову гіпотезу, коли це правда. Ми хочемо невеликого рівня значущості, тому більшість випадків, коли ми відкидаємо нульову гіпотезу, ми не помиляємося!
4. Область відхилення , враховуючи всі можливі результати тесту, область відхилення включає ті результати, які змусять нас відкинути нульову гіпотезу на користь її альтернативної.
5. Ймовірність - це ймовірність побачити спостережуваний результат тесту, враховуючи, що нульова гіпотеза (ймовірність нульової гіпотези) або альтернативна (ймовірність альтернативної гіпотези) були правдивими.
6. Коефіцієнт ймовірності - це відношення ймовірності альтернативної гіпотези, поділеної на ймовірність нульової гіпотези. Якщо результат тесту дуже очікувався, якщо нульова гіпотеза була вірною проти альтернативної, коефіцієнт ймовірності повинен бути невеликим.

Досить визначень! (хоча якщо ви уважно подивитесь на них, то зрозумієте, що вони дуже проникливі!). Давайте перейдемо до того, що кажуть нам Нейман і Пірсон: якщо ви хочете провести найкращий статистичний тест з точки зору його потужності, просто визначте область відхилення, включивши ті результати тестування, які мають найвищий коефіцієнт ймовірності, і продовжуйте додавати більше тесту Результати, поки ви не досягнете певного значення, скільки разів ваш тест відкине нульову гіпотезу, коли вона відповідає дійсності (рівень значущості).

Давайте подивимось приклад, де, сподіваємось, все зійдеться разом. Приклад ґрунтується на згаданій вище книзі. Він повністю складений самим собою, тому його не слід розглядати як відображення будь-якої реальності чи особистої думки.

Уявіть, що хочеться визначити, чи хтось виступає за встановлення імміграційних квот (нульова гіпотеза) чи ні (альтернативна гіпотеза), запитуючи його почуття проти Європейського Союзу.

Уявіть, що ми знали фактичний розподіл ймовірностей для обох типів людей стосовно відповіді на наше запитання:

Давайте уявимо, що ми готові прийняти помилкову позитивну помилку 30%, тобто 30% часу ми відкинемо нульову гіпотезу і припустимо, що опитувана особа проти квот, коли вона / вона дійсно для них. Як ми побудували тест?

На думку Неймана та Пірсона, ми спочатку взяли б результат з найбільшою часткою ймовірності. Це відповідь "дуже подобається ЄС" із співвідношенням 3. З цим результатом, якщо припустимо, що хтось проти квот, коли він / вона сказав, що "дуже подобається ЄС", 10% часу ми б призначали для квот людей проти (значення). Однак ми б справедливо віднесли лише до квотних осіб 30% часу (владу), оскільки не всі в цій групі мають однакову думку щодо ЄС.

Це здається поганим результатом, що стосується влади. Однак тест не робить багато помилок при неправильному класифікації людей, які мають квоти (значення). Оскільки ми є більш гнучкими щодо значущості, давайте шукатимемо наступний результат тесту, який слід додати до пакета відповідей, які відкидають нульову гіпотезу (область відхилення).

Наступна відповідь з найбільшим коефіцієнтом ймовірності - "як ЄС". Якщо ми використовуватимемо відповіді "дуже подобається" та "подобається" ЄС як результати тестування, які дозволяють нам відкинути нульову гіпотезу про те, що хтось має квоти, ми б неправильно класифікували для людей, які не мають квот, як не 30% часу (10% від "дуже подобається" і 20% від "подобається"), і ми б правильно класифікували 65% часу від квот людей (30% від "дуже подобається" і 35% від "подобається"). У статистичному жаргоні: наша значимість зросла з 10% до 30% (погано!), Тоді як потужність нашого тесту зросла з 30% до 65% (добре!).

Така ситуація є у всіх статистичних тестів. Немає чогось такого, як безкоштовний обід навіть у статистиці! Якщо ви хочете збільшити потужність свого тесту, ви робите це за рахунок підвищення рівня значущості. Або простіше кажучи: ви хочете краще класифікувати хороших хлопців, ви зробите за рахунок того, що більше поганих хлопців виглядатимуть добре!

В основному, зараз ми зробили! Ми створили найпотужніший тест, який ми могли б надати дані та рівень значущості 30%, використовуючи мітки "дуже подобається" та "як", щоб визначити, чи хтось проти квот ... ми впевнені?

Що було б, якби ми включили на другий крок після того, як було обрано відповідь "дійсно подобається", а відповідь "байдужий" замість "подобається"? Значення тесту було б таким же, як і раніше, на рівні 30%: 10% для людей, які діють квоти, відповідають "справді", а 20% для квотних людей відповідають "не подобається". Обидва тести були б такими ж поганими при неправильному класифікації осіб, які займаються квотами. Однак потужність погіршиться! З новим тестом ми мали б потужність 50% замість тих 65%, які мали раніше: 30% від «дуже подобається» і 20% від «байдужих». З новим тестом ми були б менш точними при визначенні квотних осіб!

Хто тут допоміг? Співвідношення ймовірності Неймана-Людини чудова ідея! Отримуючи щоразу відповідь з найвищим коефіцієнтом ймовірності, ми гарантували, що ми включимо в новий тест якомога більше потужності (великий чисельник), зберігаючи при цьому значення під контролем (малий знаменник)!

Контекст

(У цьому розділі я просто поясню тестування гіпотез, введіть одну і дві помилки тощо за власним стилем. Якщо вам зручно з цим матеріалом, перейдіть до наступного розділу)

Лема Неймана-Пірсона виникає в проблемі простого тестування гіпотез . У нас є два різні розподіли ймовірності на загальному просторі $\Omega$ : $P_0$ і $P_1$ , що називається нульовою та альтернативною гіпотезами. На основі одного спостереження $\omega\in\Omega$ , ми повинні придумати, для якого з двох розподілів ймовірностей діє. Тест тому функція , яка кожному $\omega$ привласнює здогад або «нульової гіпотези» або «альтернативної гіпотези». Тест, очевидно, може бути ідентифікований з регіоном, в який він повертає "альтернативу", тому ми просто шукаємо підмножини (події) простору ймовірностей.

Зазвичай у додатках нульова гіпотеза відповідає якомусь статусному квоту, тоді як альтернативна гіпотеза - це нове явище, яке ви намагаєтесь довести чи спростувати, справжнє. Наприклад, ви можете когось випробовувати на психічні сили. Ви запускаєте стандартний тест картками з чітко вираженими лініями чи ні, і змушуєте їх відгадувати певну кількість разів. Нульова гіпотеза полягає в тому, що вони отримають не більше одного з п'яти правильних (оскільки є п'ять карток), альтернативна гіпотеза полягає в тому, що вони психічні і можуть отримати більше права.

Ми хотіли б зробити це мінімізувати ймовірність помилки. На жаль, це безглузде поняття. Ви можете помилитися двома способами. Або нульова гіпотеза є істинною, і ви відбираєте $\omega$ у "альтернативній" області тесту, або альтернативна гіпотеза є істинною, і ви відбираєте "нульову" область. Тепер, якщо ви зафіксуєте область $A$ простору ймовірностей (тест), то числа $P_0(A)$ і $P_1(A^{c})$, ймовірність зробити ці два види помилок повністю чітко визначені, але оскільки у вас немає попереднього поняття "ймовірність того, що нулева / альтернативна гіпотеза є істинною", ви не можете отримати значущої "ймовірності будь-якого типу помилка ». Отже, це досить типова ситуація в математиці, коли ми хочемо "найкращого" якогось класу об'єктів, але коли ви придивитесь уважніше, то немає "найкращого". Насправді, те, що ми намагаємось зробити, це мінімізувати $P_0(A)$ , максимізуючи $P_1(A)$ , що є явно протилежними цілями.

Маючи на увазі приклад тесту на психічні здібності, я хотів би посилатися на тип помилки, в якій нульова правда, але ви робите висновок про альтернативу як істинну, як " марення " (ви вважаєте, що хлопець психічний, але він ні), і інший вид помилки, як « забуття ».

Лема

$\alpha$

Пропозиція (лема Неймана-Пірсона)

$L_0, L_1$$\alpha > 0$$A\subseteq \Omega$$P_1(A)$$P_0(A)\leq \alpha$

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

$K>0$ $K$$P_1(A)\geq P_1(B)$$B$$P_0(B)\leq P_0(A)$

$K$$P_0(A)=\alpha$

$P_1$$P_0$

$P_0$$P_1$$\mathbb R^n$$P_0(A)$$P_0$$P_1$$P_0$$P_1$$P_0$

Купуючи землю

Серце леми, отже, таке:

$\mu$$\Omega$$f$$\Omega$$\alpha > 0$$A$$\mu(A)\leq\alpha$$\int_A fd\mu$

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ $K>0$$\int f$$B$

$\alpha$$f$$\int f$$\alpha$$\mu$$P_0$$f$$P_1$$P_0$$L_1/L_0$

$A$$B$$B'$$A$$B'$$B$$A$$B$$B'$$x\in A$$f(y)>f(x)$$y$$A$$x$$y$$A$$f^{-1}([K, +\infty))$$K$