Враховуючи достатньо великий розмір вибірки, тест завжди покаже значний результат, якщо справжній розмір ефекту точно не дорівнює нулю. Чому?

21

Мені цікаво твердження, подане у статті Вікіпедії щодо розміру ефекту . Конкретно:

[...] ненульове статистичне порівняння завжди покаже статистично значущі результати, якщо розмір ефекту сукупності точно не дорівнює нулю

Я не впевнений, що це означає / має на увазі, не кажучи вже про аргумент, щоб підкріпити це. Я гадаю, зрештою, ефект - це статистика, тобто значення, обчислене з вибірки, з власним розподілом. Чи означає це, що ефекти ніколи не зумовлені лише випадковими варіаціями (це те, що я розумію, означає, що воно не є суттєвим)? Тоді ми просто розглянемо, чи достатньо сильний ефект - має високе абсолютне значення?

Я розглядаю ефект, який мені найбільше відомий: коефіцієнт кореляції Пірсона r, здається, суперечить цьому. Чому будь-який буде статистично значущим? Якщо малий, наша лінія регресії $r$ $r$

y = a x + b = r (\frac{s_{y}}{s_{x}}) = ϵ x + b

$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$

Для малий, близький до 0, F-тест, ймовірно, буде містити довірчий інтервал, що містить 0 для нахилу. Хіба це не контрприклад? $\epsilon$

hypothesis-testing

— гарі
джерело

10

Підказка: пункт перед цитованою вами частиною є важливим. " Враховуючи достатньо великий розмір вибірки , ненульове статистичне порівняння завжди покаже статистично значущі результати, якщо розмір ефекту популяції точно не дорівнює нулю ..."

— Кодіолог

@ Кодіолог: Але, повторюючи мій приклад, чи означає це, що якби розмір вибірки був більшим, то й сам r також був би більшим, або, принаймні, вираз був би більшим, якби розмір вибірки був більшим? Я цього не бачу.

r (s_{y} / s_{x})

$r(s_y/s_x)$

— gary

5

Якби це не було правдою, це було б недоліком у статистичному методі. Якщо , певний розмір вибірки достатньо великий, щоб виявити різницю.

μ > μ_{0}

$\mu > \mu_0$

— Джон Коулман

26

Як простий приклад, припустимо, що я оцінюю ваш зріст, використовуючи статистичні мамбо джамбо.

Ви завжди заявляли іншим, що ви 177 см (приблизно 5 футів 10 дюймів).

Якби я перевірив цю гіпотезу (що ваш зріст дорівнює 177 см, ), і я міг би досить зменшити помилку в моєму вимірі, то я міг би довести, що ви насправді не 177 див. Врешті-решт, якби я оцінив ваш зріст у достатній кількості десяткових знаків, ви майже напевно відхилитесь від заявленої висоти 177,00000000 см. Можливо, вам 177,02 см; Мені залишається лише зменшити свою помилку до менше .02, щоб дізнатися, що вам не 177 див. $h = 177$

Як зменшити помилку в статистиці? Отримайте більший зразок. Якщо ви отримаєте достатньо велику вибірку, помилка стає настільки малою, що ви зможете виявити найбільш незначні відхилення від нульової гіпотези.

— Підривник
джерело

2

Це дуже чітке і стисле пояснення. Напевно, корисніше зрозуміти, чому це відбувається, ніж більше математичних відповідей. Молодці.

— Ніхто

1

Чудово пояснено, але я думаю, що також важливо враховувати, що є випадки, коли заявлене значення є справді точним. Наприклад, відклавши дивні речі, що трапляються в теорії струн тощо. Вимірювання кількості просторових розмірів нашого Всесвіту (що можна зробити) дасть 3, і незалежно від того, наскільки точно ви зробите це вимірювання, ви будете ніколи не знайдіть статистично значущих відхилень від 3. Звичайно, якщо ви продовжуєте тестувати достатньо разів, ви отримаєте деякі відхилення просто через дисперсію, але це вже інше питання.

— Давид Z

Можливо, наївне питання, але якщо я стверджую, що я 177 см, чи не означає поняття значущих цифр, я кажу лише, що я між 176,5 і 177,5? Відповідь, здається, дає хорошу теоретичну концепцію, правдиву, але чи не вона базується на помилковій передумові? Що я пропускаю?

— JimLohse

У цьому випадку вказана висота 177 є аналогом нульової гіпотези в статистиці. У традиційному тестуванні гіпотез щодо рівності ви робите заяву про рівність (наприклад, ). Справа в тому, що незалежно від того, якою ви заявляєте про свій зріст, я можу спростувати це, зменшуючи помилку, якщо тільки нульова гіпотеза НЕ ПРАВИЛЬНА правдива. Я використовував висоту як легкий для розуміння приклад, але це поняття те саме в інших областях (речовина х не викликає рак, ця монета є справедливою тощо)

μ = 177

$\mu = 177$

— Підривник

13

Як зазначає @Kodiologist, це дійсно про те, що відбувається для великих розмірів вибірки. Для невеликих розмірів вибірки немає жодної причини, чому ви не можете мати помилкові позитиви чи помилкові негативи.

Я думаю, що -test робить асимптотичний випадок яснішим. Припустимо, у нас є і ми хочемо перевірити проти . Наша тестова статистика - $z$ $X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$ $H_0: \mu = 0$ $H_A: \mu \neq 0$

Z_{n} = \frac{{\bar{X}}_{n} - 0}{1 / \sqrt{n}} = \sqrt{n} {\bar{X}}_{n} .

$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$

$\bar X_n \sim \mathcal N(\mu, \frac 1n)$ тому . Нас цікавить . Нехай є нашою опорною змінною. Під тому у нас тож ми можемо вибрати для керування частотою помилок нашого типу I . Але під так $Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ $P(|Z_n| \geq \alpha)$

P (| Z_{n} | \geq α) = P (Z_{n} \leq - α) + P (Z_{n} \geq α)

$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$

= 1 + Φ (- α - μ \sqrt{n}) - Φ (α - μ \sqrt{n}) .

$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$

Y \sim N (0, 1)

$Y \sim \mathcal N(0,1)$

H_{0}

$H_0$

μ = 0

$\mu = 0$

P (| Z_{n} | \geq α) = 1 - P (- α \leq Y \leq α)

$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$

α

$\alpha$

H_{A}

$H_A$

μ \sqrt{n} \neq 0

$\mu \sqrt n \neq 0$

P (| Z_{n} | \geq α) \to 1 + Φ (\pm \infty) - Φ (\pm \infty) = 1

$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$ тому з ймовірністю 1 відкинемо якщо (the - у випадку , але будь-який спосіб нескінченності мають однаковий знак).

H_{0}

$H_0$

μ \neq 0

$\mu \neq 0$

\pm

$\pm$

μ < 0

$\mu < 0$

Сенс у тому, що якщо точно дорівнює то наша тестова статистика має еталонний розподіл, і ми відкинемо 5% (або що завгодно) часу. Але якщо точно не дорівнює , то ймовірність того, що ми відхилимо голови до як збільшується. Ідея тут полягає в послідовності тесту, яка полягає в тому, що при потужність (ймовірність відхилення) головує до як . $\mu$ $0$ $\mu$ $0$ $1$ $n$ $H_A$ $1$ $n \to \infty$

Це саме та сама історія із тестовою статистикою для тестування проти з коефіцієнтом кореляції Пірсона. Якщо нульова гіпотеза помилкова, то наша тестова статистика стає все більшою і більшою, тому ймовірність того, що ми відкинемо підходи . $H_0 : \rho = \rho_0$ $H_A: \rho \neq \rho_0$ $1$

— jld
джерело

1

Нітпік: якщо , то буде розходитися до замість , правда?

μ < 0

$μ < 0$

Z_{n}

$Z_n$

- \infty

$-\infty$

\infty

$\infty$

— Кодіолог

1

Добре, але те, що трапиться у випадку має залежати від того, чи "швидше", ніж , правда? Я навіть не впевнений, як би ви "порівняли" швидкість конвергенції для послідовності випадкових величин і послідовності цілих чисел - можливо, слід застосувати теорему Слуцького чи щось подібне.

μ = 0

$\mu=0$

\bar{X} \to_{p} 0

$\bar{X}\to_p 0$

\sqrt{n} \to \infty

$\sqrt{n}\to \infty$

— DeltaIV

1

@DeltaIV, правильно, якби коефіцієнт конвергенції був різним, потрібне було б інше масштабування, щоб отримати невідроджене нульове розподіл. Але для цього прикладу, root-n - це правильна швидкість.

— Крістоф Ганк

1

\sqrt{n} \bar{X}

$\sqrt n \bar X$ переходить до стандартної норми за CLT, а не до .

0

$0$

— хлопець

7

Можливо, те, що вони сказали, є неправильним, якщо з будь-якої іншої причини, крім їх використання "це завжди буває".

Я не знаю, чи це суть вашої плутанини , але я опублікую це, тому що я думаю, що багато хто з них і збентежить це:

" буває, якщо досить великий" $X$ $n$ , НЕ означає "Якщо , то ". $n > n_0$ $X$

Швидше, це означає . $\lim\limits_{n\to\infty} \Pr (X) = 1$

Те, що вони буквально говорять, означає:

Для будь-якого розміру вибірки вище деякого мінімального розміру , результат будь-якого ненульового тесту гарантовано є значущим, якщо справжній розмір ефекту точно не дорівнює нулю. $n$ $n_0$

Однак вони намагалися сказати:

При будь-якому рівні значущості, у міру збільшення розміру вибірки, ймовірність того, що ненульовий тест дає значний результат, наближається до 1, якщо справжній розмір ефекту точно не дорівнює нулю.

Тут є вирішальні відмінності:

Гарантії немає. Ви лише більше шансів отримати значний результат при більшій вибірці. Тепер вони можуть ухилитися від частини провини тут, оскільки поки це лише питання термінології. У імовірнісний контексті буде зрозуміло , що твердження «якщо п досить велике , то X» може також інтерпретуватися як «X стає все більш і більш імовірно , щоб бути правдою , як п зростає великий» .
Однак це тлумачення виходить у моє вікно, як тільки вони кажуть, що це "завжди" відбувається. Тут належна термінологія могла б сказати, що це відбувається " з високою ймовірністю " ¹ .
Це є другорядним, але їх формулювання заплутане - це, мабуть, означає, що ви фіксуєте розмір вибірки "достатньо великим", а потім твердження справедливо для будь-якого рівня значущості. Однак, незалежно від того, що таке точне математичне твердження, це насправді не має сенсу: ви завжди спочатку фіксуєте рівень значущості, а потім вибираєте розмір вибірки, щоб бути досить великим.
Але припущення , що це може бути як - то навпаки , до жаль , підкреслює інтерпретація «досить великий», так що робить вищевказану проблему ще гірше. $n > n_0$

Але як тільки ви зрозумієте літературу, ви отримаєте те, що вони намагаються сказати.

(Побічна примітка: до речі, це саме одна з постійних проблем у багатьох людей з Вікіпедією. Часто зрозуміти, що вони говорять, можна лише тоді, коли ви вже знаєте матеріал, тому це корисно лише для довідки або як нагадування , не як самонавчальний матеріал.)

_{¹ Для колег-педантів (привіт!) Так, термін має більш конкретне значення, ніж той, з яким я пов’язаний. Найслабший технічний термін, який ми, мабуть, хочемо тут, - це "асимптотично майже напевно" . Дивіться тут .}

— Мехрдад
джерело

"ймовірність того, що ненульовий тест дає значний результат, наближається до 0, якщо справжній розмір ефекту точно дорівнює нулю" може бути не зовсім правильним: якщо тест має рівень значущості то ймовірність отримання значного результату може бути або в будь-яких розмірах вибірки

α

$\alpha$

α

$\alpha$

— Генріх

@ Генрі: О стріляй, ти маєш рацію! Я написав це так швидко, що не переставав думати. Дякую тонну! Я це виправив. :)

— Мехрдад

3

Мій улюблений приклад - кількість пальців за статтю. Переважна більшість людей мають 10 пальців. Деякі втратили пальці через нещасні випадки. У деяких є додаткові пальці.

Я не знаю, чи мають у чоловіків більше пальців, ніж у жінок (в середньому). Усі легкодоступні докази свідчать про те, що у чоловіків і у жінок 10 пальців.

Однак я дуже впевнений, що якби я переписував усіх чоловіків і всіх жінок, то я б дізнався, що одна стать має більше пальців (в середньому), ніж інша.

— еморі
джерело

Враховуючи достатньо великий розмір вибірки, тест завжди покаже значний результат, якщо справжній розмір ефекту точно не дорівнює нулю. Чому?

" буває, якщо досить великий"n ХXXнnn , НЕ означає "Якщо , то ".n > n 0 Xn > n0n>n0n > n_0ХXX

Швидше, це означає .limn → ∞Пр ( X) = 1limn→∞Pr(X)=1\lim\limits_{n\to\infty} \Pr (X) = 1

" буває, якщо досить великий" $X$ $n$ , НЕ означає "Якщо , то ". $n > n_0$ $X$

Швидше, це означає . $\lim\limits_{n\to\infty} \Pr (X) = 1$