Один статистичний тест може свідчити про те, що нульова гіпотеза (H0) помилкова, і тому альтернативна гіпотеза (H1) є істинною. Але це не може бути використано, щоб показати, що H0 є істинним, оскільки відмова відхилити H0 не означає, що H0 є істинним.

Але припустимо, у вас є можливість зробити статистичний тест багато разів, тому що у вас є безліч наборів даних, всі незалежні один від одного. Усі набори даних є результатом одного і того ж процесу, і ви хочете зробити якесь твердження (H0 / H1) над самим процесом і не зацікавлені в результатах кожного окремого тесту. Потім ви збираєте всі отримані p-значення і випадково бачите через графік гістограми, що значення p чітко розподіляються рівномірно.

Моє міркування зараз полягає в тому, що це може статися лише за умови правдивості H0 - інакше р-значення розподіляться інакше. Чи є це достатньо доказів, щоб зробити висновок про те, що H0 є правдою? Або я пропускаю тут щось істотне, тому що мені знадобилося багато сили волі, щоб написати "висновок, що H0 - це правда", що просто звучить жахливо неправильно в моїй голові.

$H_0$$H_0$$H'_0$

ОНОВЛЕННЯ

Ось демонстрація. Я генерую 100 зразків із 100 спостережень з розподілу Гаусса та Пуассона, потім отримую 100 p-значень для тесту на нормальність кожного зразка. Отже, передумова питання полягає в тому, що якщо значення р є від рівномірного розподілу, то це доводить, що нульова гіпотеза є правильною, що є більш сильним твердженням, ніж звичайне "не вдається відкинути" статистичні умовиводи. Біда в тому, що "р-значення є рівномірними" - це сама гіпотеза, яку потрібно якось перевірити.

На малюнку (перший рядок) нижче я показую гістограми p-значень з тесту на нормальність для вибірки Гуассіана та Пуассона, і ви можете бачити, що важко сказати, чи одна рівномірніша за іншу. Це було моє головне.

Другий рядок показує один із зразків з кожного розподілу. Зразки порівняно невеликі, тому дійсно не можна мати занадто багато контейнерів. Насправді цей конкретний зразок Гаусса зовсім не такий гауссовий на гістограмі.

У третьому ряді я показую комбіновані вибірки з 10 000 спостережень за кожне розподілення на гістограмі. Тут ви можете мати більше бункерів, а форми більш очевидні.

Нарешті, я запускаю той самий тест на нормальність і отримую p-значення для комбінованих зразків, і він відкидає нормальність для Пуассона, не відхиляючи його для Гауссана. Значення р: [0.45348631] [0.]

Це, звичайно, не доказ, а демонстрація ідеї про те, що вам краще провести той же тест на комбінованій вибірці, а не намагатися проаналізувати розподіл p-значень за підпробочками.

Ось код Python:

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

$\sqrt{n}$

$H_0$$H_0$

Девід Юм і проблема індукції

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• Протягом століть кожен лебідь, який спостерігали європейці, був білим. Тоді європейці відкрили Австралію і побачили чорних лебедів.

• Протягом століть закон тяжіння Ньютона погоджувався із спостереженням і вважався правильним. Це було перевернуто хоч теорією загальної відносності Ейнштейна.

$H_0$

Неповний перелік шляхів подання:

Карл Поппер і фальсифікація

На думку Карла Поппера , жоден науковий закон ніколи не доводиться істинним. У нас є лише наукові закони, ще не доведені хибними.

Поппер стверджував, що наука рухається вперед, відгадуючи гіпотези і піддаючи їх суворій ретельній увазі. Він просувається вперед шляхом дедукції (спостереження, що підтверджує теорії помилковими), а не індукцією (повторне спостереження, що підтверджує теорії істинними). Значна частина частолістської статистики була побудована відповідно до цієї філософії.

Думка Поппера була надзвичайно впливовою, але, як стверджували Кун та інші, це не зовсім відповідає емпірично дотриманій практиці успішної науки.

Байєсова, суб'єктивна ймовірність

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$. Те, як ти поводишся в різних ситуаціях, має певну відповідність цим суб'єктивним імовірностям.

Це логічний спосіб моделювання власних суб'єктивних переконань, але це не чарівний спосіб створення ймовірностей, що відповідають дійсності з точки зору відповідності дійсності. Складне питання для будь-якої байєсівської інтерпретації - звідки беруться пріори? Крім того, що робити, якщо модель неправильно уточнена?

Джордж П. Бокс

Відомий афоризм Джорджа EP Box полягає в тому, що "всі моделі помилкові, але деякі корисні".

Закон Ньютона може бути істинним, але він все-таки корисний для багатьох проблем. Погляд Box є досить важливим у сучасному контексті великих даних, коли дослідження настільки переважають, що ви можете в основному відкинути будь-яку змістовну пропозицію. Суворо істинно проти неправдивих є поганим питанням: важливо, чи допоможе модель зрозуміти дані.

Додаткові коментарі

$\theta \approx 0$

Можливо, також цікаво, що статистичний аналіз результатів декількох досліджень називається метааналізом .

Наскільки далеко ви можете вийти за рамки вузьких статистичних інтерпретацій - важке питання.

У певному сенсі ви праві (див. Криву p) з деякими невеликими застереженнями:

1. $p \leq \alpha$$\alpha$$H_0$
2. $H_0$$H_0$

З реалістичними додатками ви, як правило, отримуєте додаткові проблеми. Вони здебільшого виникають, тому що жодна людина / лабораторія / навчальна група зазвичай не може зробити всі необхідні дослідження. Як результат, людина схильна розглядати дослідження багатьох груп, і тоді у вас виникли занепокоєння (тобто, якщо ви самі робили всі відповідні експерименти, принаймні, ви знали) про недооцінку, вибіркове повідомлення про значні / дивовижні результати, p-хакерство, багаторазове тестування / численні виправлення тестування тощо.

Нульова гіпотеза (H0): Гравітація призводить до того, що все у Всесвіті падає на земну поверхню.

Чергова гіпотеза (H1): ніколи нічого не падає.

$p < 0.01$