R - QQPlot: як дізнатися, чи нормально поширюються дані

Я створив це після того, як зробив тест на нормальність Шапіро-Вілка. Тест показав, що цілком ймовірно, що населення нормально розподілене. Однак як побачити цю «поведінку» на цьому сюжеті?

ОНОВЛЕННЯ

Проста гістограма даних:

ОНОВЛЕННЯ

Тест Шапіро-Вілка говорить:

" Тест показав, що цілком ймовірно, що населення нормально розподілене ".

Немає; це не показало.

Тести гіпотези не говорять про те, наскільки ймовірним є нуль. Насправді ви можете зробити ставку, що ця нуль помилкова.

Діаграма QQ не дає чітких ознак нестандартності (сюжет досить прямий); можливо, є трохи коротший лівий хвіст, ніж ви очікували, але це насправді не має великого значення.

Гістограма як - це, мабуть, теж не говорить багато; це також натякає на трохи коротший лівий хвіст. Але дивіться тут

Поширення населення вашими даними не буде абсолютно нормальним. Однак графік QQ показує, що нормальність, ймовірно, є досить хорошим наближенням.

Якби розмір вибірки був не надто малим, брак відхилення Шапіро-Вілка, мабуть, сказав би майже те саме.

Оновлення: ваше редагування для включення фактичного p-значення Shapiro-Wilk є важливим, оскільки насправді це вказувало б, що ви відхилили нуль на типово значущих рівнях. Цей тест вказує на те, що ваші дані зазвичай не поширюються, і легке перекос, позначене ділянками, ймовірно, підбирається тестом. Для типових процедур, які можуть припускати нормальність самої змінної (однотипний t-тест - це той, що спадає на думку), при тому, що представляється досить великим розміром вибірки, ця легка ненормальність майже не матиме наслідків при все - одна з проблем із хорошими тестами на придатність полягає в тому, що вони, швидше за все, відхиляються саме тоді, коли це не має значення (коли розмір вибірки досить великий, щоб виявити деяку скромну ненормальність); аналогічно, вони, швидше за все, не зможуть відхилити, коли це має найбільше значення (коли розмір вибірки невеликий).

Якщо дані звичайно розподіляються, точки в нормальній QQ графіку лежать на прямій діагональній лінії. Ви можете додати цю лінію до QQ-графіку за допомогою команди qqline(x), де xвектор значень.

Приклади нормального та ненормального розподілу:

Нормальний розподіл

set.seed(42)
x <- rnorm(100)

QQ-нормальний графік з лінією:

qqnorm(x); qqline(x)

Відхилення від прямої лінії мінімальні. Це вказує на нормальний розподіл.

Гістограма:

hist(x)

Ненормальний (гамма) розподіл

y <- rgamma(100, 1)

Норма QQ-нормальної ділянки:

qqnorm(y); qqline(y)

Точки чітко слідують іншій формі, ніж пряма.

Гістограма підтверджує ненормальність. Розподіл не дзвоникоподібний, а позитивно перекошений (тобто більшість точок даних знаходиться в нижній половині). Гістограми нормальних розподілів показують найвищу частоту в центрі розподілу.

hist(y)

Деякі інструменти для перевірки обгрунтованості припущення про нормальність в R

library(moments)
library(nortest)
library(e1071)

set.seed(777)
x <- rnorm(250,10,1)

# skewness and kurtosis, they should be around (0,3)
skewness(x)
kurtosis(x)

# Shapiro-Wilks test
shapiro.test(x)

# Kolmogorov-Smirnov test
ks.test(x,"pnorm",mean(x),sqrt(var(x)))

# Anderson-Darling test
ad.test(x)

# qq-plot: you should observe a good fit of the straight line
qqnorm(x)
qqline(x)

# p-plot: you should observe a good fit of the straight line
probplot(x, qdist=qnorm)

# fitted normal density
f.den <- function(t) dnorm(t,mean(x),sqrt(var(x)))
curve(f.den,xlim=c(6,14))
hist(x,prob=T,add=T)

Хоча корисно візуально перевірити, чи відповідає ваша інтуїція результату якогось тесту, ви не можете очікувати, що це буде щоразу легко . Якщо люди, які намагаються виявити Хіггса Босона, будуть довіряти їх результатам лише тоді, коли зможуть візуально їх оцінити, їм знадобиться дуже гостре око.

Особливо з великими наборами даних (і, таким чином, як правило, зі збільшенням потужності) статистика, як правило, набирає найменші відмінності, навіть коли їх важко помітити неозброєним оком.

Якщо говорити: для нормальності ваш QQ-сюжет повинен показувати пряму лінію: я б сказав, що це не так. У хвостах чіткі вигини, і навіть біля середини спостерігається деякий переполох. Візуально я все ще можу сказати (залежно від мети перевірки нормальності) ці дані "розумно" нормальні, хоча.

Однак зауважте: для більшості цілей, коли ви хочете перевірити нормальність, вам потрібна лише нормальність засобів замість нормальності спостережень, тому центральної граничної теореми може бути достатньо, щоб врятувати вас. Крім того: хоча нормальність часто є припущенням, що вам потрібно перевірити "офіційно", багато тестів виявились досить нечутливими до того, що це припущення не виконується.

Мені подобається версія поза машиною 'R' бібліотеки ', оскільки вона забезпечує не тільки центральну тенденцію, але і довірчі інтервали. Це дає наочні вказівки, щоб допомогти підтвердити, чи відповідає поведінка даних гіпотетичному розподілу.

library(car)

qqPlot(lm(prestige ~ income + education + type, data=Duncan), 
       envelope=.99)

деякі посилання:

• Інтерпретація сюжету QQ
• http://exploringdatablog.blogspot.com/2011/03/many-uses-of-qq-plots.html
• https://stackoverflow.com/questions/19392066/sim istovremeno-null-band-for-uniform-qq-plot-in-r
• https://philmikejones.wordpress.com/2014/05/12/regression-diagnostics-r/