Відносний розмір p значень при різних розмірах вибірки

Як змінюється відносний розмір значення ap для різних розмірів вибірки? Наприклад, якщо ви отримали при для кореляції, а потім при ви отримали те саме значення p 0,20, який би був відносний розмір p значення для другого тесту порівняно з вихідним значенням p коли ?$p=0.20$$n=45$$n=120$$n=45$

Подумайте, що кидати монету, яка, як ви підозрюєте, може надто часто підходити до голови.

Ви проводите експеримент з подальшим тестом гіпотез з одною хворобою. За десять кидок ви отримуєте 7 голів. Щось, щонайменше, на відстані 50%, може легко трапитися з справедливою монетою. Нічого незвичайного там немає.

Якщо б замість цього, ви отримали 700 голів на 1000 кидок, результат принаймні настільки далекий від справедливого, як це було б дивовижною для справедливої ​​монети.

Тож 70% голів зовсім не дивно для справедливої ​​монети в першому випадку і дуже дивно для справедливої ​​монети у другому випадку. Різниця - розмір вибірки.

Зі збільшенням кількості вибірки наша невпевненість у тому, де може бути середнє населення (частка голів у нашому прикладі) зменшується. Таким чином, більші вибірки узгоджуються з меншими діапазонами можливих значень популяції - більше значень, як правило, стає "виключеним", оскільки вибірки стають більшими.

Чим більше даних у нас є, тим точніше ми можемо визначити, де може бути середнє значення сукупності ... тому фіксоване значення середнього значення, яке неправильно, виглядатиме менш правдоподібним, оскільки наші розміри вибірки стають великими. Тобто р-значення, як правило, зменшується зі збільшенням розміру вибірки, якщо тільки не відповідає дійсності$H_0$ .

Я згоден з @Glen_b, просто хочу пояснити це з іншої точки зору.

Наведемо приклад різниці засобів у двох групах населення. Відхилення рівносильно сказати, що 0 не знаходиться в довірчому інтервалі для різниці засобів. Цей інтервал стає меншим з n (за визначенням), тому стає важче і важче будь-якій точці (у цьому випадку нулю) бути в інтервалі в міру зростання n. Оскільки відхилення за довірчим інтервалом математично еквівалентно відхиленню за р-значенням, р-значення зменшиться з n.$H_{0}$

Настане той момент, коли ви отримаєте інтервал на зразок який вкаже, що перша популяція справді має більше значення, ніж друга популяція, але ця різниця настільки мала, що ви б не заперечували проти цього. Ви відхилите , але ця відмова не буде означати нічого в реальному житті. Саме тому p-значень недостатньо для опису результату. Завжди потрібно надати певний показник РОЗМІР спостережуваної різниці.$[0.0001, 0.0010]$$H_0$

значення для значимості-тесту у вигляді нуль-гіпотези , що дане, відмінна від нуля ефект розміру фактично дорівнює нулю в популяції буде зменшуватися зі збільшенням розміру зразка. Це пояснюється тим, що більший зразок, який забезпечує послідовні докази цього ненульового ефекту, надає більше доказів проти нуля, ніж менший зразок. Менший зразок пропонує більше можливостей для випадкової помилки вибірки для оцінювання розміру ефекту зміщення, як показано у відповіді @ Glen_b. Регресія до середнього зменшує помилку вибірки у міру збільшення розміру вибірки; оцінка розміру ефекту, що базується на центральній тенденції вибірки, поліпшується з розміром вибірки за центральною граничною теоремою . Тому$p$$p$- тобто, ймовірність отримання більшої кількості зразків одного розміру та розмірів ефектів, щонайменше настільки ж сильних, як у вашого зразка, якщо ви виводите їх випадковим чином з однієї сукупності, припускаючи, що розмір ефекту в цій популяції фактично дорівнює нулю - зменшується як розмір вибірки збільшується, а розмір ефекту вибірки залишається незмінним. Якщо розмір ефекту зменшується або коливання помилок збільшується зі збільшенням розміру вибірки, значущість може залишатися такою ж.

Ось ще один простий приклад: кореляція між і . Тут Pearson's . Якщо я дублюю дані і перевіряю співвідношення і , ще, але . Не потрібно багато копій ( ) для наближення , показаного тут:$x=\{1,2,3,4,5\}$$y=\{2,1,2,1,3\}$$r=.378,t_{(3)}=.71,p=.53$$x=\{1,2,3,4,5,1,2,3,4,5\}$$y=\{2,1,2,1,3,2,1,2,1,3\}$$r=.378$$t_{(3)}=1.15,p=.28$$n$$\lim_{n\to\infty} p(n)=0$