Стандартне відхилення спостережуваних спостережень

У мене є набір даних зразкових спостережень, які зберігаються як рахунки в межах діапазону. наприклад:

min/max  count
40/44    1
45/49    2
50/54    3
55/59    4
70/74    1

Тепер, знайти оцінку середнього з цього досить прямо. Просто використовуйте середнє значення (або медіану) кожного бункера діапазону як спостереження, а підрахунок як вагу та знайдіть середньозважене:

{\bar{х}}^{*} = \frac{1}{\sum_{i = 1}^{N} ш_{i}} \sum_{i = 1}^{N} ш_{i} х_{i}

$\bar{x}^* = \frac{1}{\sum_{i=1}^N w_i} \sum_{i=1}^N w_ix_i$

Для мого тестового випадку це дає мені 53,82.

Зараз моє запитання полягає в тому, який правильний метод знаходження стандартного відхилення (або дисперсії)?

Під час пошуку я знайшов декілька відповідей, але не впевнений, який, якщо такий є, насправді підходить для мого набору даних. Я зміг знайти таку формулу як в іншому питанні тут, так і у випадковому документі NIST .

с^{2 *} = \frac{\sum_{i = 1}^{N} ш_{i} (х_{i} - {\bar{х}}^{*})^{2}}{\frac{(М - 1)}{М} \sum_{i = 1}^{N} ш_{i}}

$s^{2*} = \frac{ \sum_{i=1}^N w_i (x_i - \bar{x}^*)^2 }{ \frac{(M-1)}{M} \sum_{i=1}^N w_i }$

Що дає стандартне відхилення 8,35 для мого тестового випадку. Однак стаття Вікіпедії про зважених засобах дає обидві формули:

с^{2 *} = \frac{\sum_{i = 1}^{N} ш_{i}}{(\sum_{i = 1}^{N} ш_{i})^{2} - \sum_{i = 1}^{N} ш_{i}^{2}} \sum_{i = 1}^{N} ш_{i} (х_{i} - {\bar{х}}^{*})^{2}

$s^{2*} = \frac{ \sum_{i=1}^N w_i}{(\sum_{i=1}^N w_i)^2 - \sum_{i=1}^N w_i^2} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

с^{2 *} = \frac{1}{(\sum_{i = 1}^{N} ш_{i}) - 1} \sum_{i = 1}^{N} ш_{i} (х_{i} - {\bar{х}}^{*})^{2}

$s^{2*} = \frac{1}{(\sum_{i=1}^N w_i) - 1} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

Які дають стандартні відхилення 8,66 та 7,83 відповідно для мого тестового випадку.

Оновлення

Дякуємо @whuber, який запропонував вивчити виправлення Шеппарда, та ваші корисні коментарі щодо них. На жаль, мені важко зрозуміти ресурси, які я можу знайти про це (і я не можу знайти хороших прикладів). Для резюме, я розумію, що наведена нижче упереджена оцінка дисперсії:

с^{2 *} = \frac{1}{\sum_{i = 1}^{N} ш_{i}} \sum_{i = 1}^{N} ш_{i} (х_{i} - {\bar{х}}^{*})^{2}

$s^{2*} = \frac{1}{\sum_{i=1}^N w_i} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

Я також розумію, що більшість стандартних виправлень зміщення стосуються прямих випадкових вибірок нормального розподілу. Тому я бачу два потенційні проблеми для мене:

Це бінні випадкові вибірки (які, я впевнений, саме там, де надходять Корекції Шеппарда.)
Невідомо, чи є ці дані для нормального розподілу (тому я припускаю, що ні, що, я впевнений, визнає неправомірними виправлення Шеппарда.)

Отже, моє оновлене запитання: Який підходящий метод поводження з ухилом, накладений "простою" зваженою формулою стандартного відхилення / дисперсії на ненормальному розподілі? Найбільш конкретно щодо бінарних даних.

Примітка: я використовую такі терміни:

$s^{2*}$ - зважена дисперсія
$N$ - кількість спостережень. (тобто кількість бункерів)
$M$ - кількість ненульових ваг. (тобто кількість бункерів з рахунками)
$w_i$ - ваги (тобто рахунки)
$x_i$ - це спостереження. (тобто кошти для сміття)
$\bar{x}^*$ - середнє зважене значення.

variance standard-deviation weighted-sampling

— chezy525
джерело

"Виправлення Шеппарда" від Google для стандартних рішень цієї проблеми.

— whuber

@whuber, я боюся, що мій google-foo не вдається мені ... Я не знаходжу багато про те, як використовувати виправлення Шеппарда. Наскільки я можу сказати, це виправлення для збитого характеру даних, і в моєму тестовому випадку буде використано як , де - розмір кошиків (у моєму тестовому випадку, 4). Це правильно? У будь-якому випадку, те, що я все ще знаходжу, не допомагає мені обчислити .

s^{2 *} - \frac{c^{2}}{12}

$s^{2*} - \frac{c^2}{12}$

c

$c$

s^{2 *}

$s^{2*}$

— chezy525

Другий удар в моєму пошуку Google дає явну формулу (рівняння 9).

— whuber

@whuber, пройшло вже пару місяців, і я спробував прочитати документ, з яким ти зв'язався пару разів. Я думаю, що мені все-таки щось не вистачає, але найкраще, що я придумав, - це те, що остаточне рівняння, яке я перерахував, є правильним як неупереджений оцінювач. Чи це правильно?

— chezy525

Виправлення Шеппарда не передбачають нормальності.

— Glen_b -Встановіть Моніку

У цій відповіді представлено два рішення: виправлення Шеппарда та максимальна оцінка ймовірності. Обидва тісно погоджуються щодо оцінки стандартного відхилення: для першого та для другого (якщо його коригують таким чином, щоб воно було порівняно зі звичайним "неупередженим" оцінником). $7.70$ $7.69$

Виправлення Шеппарда

"Виправлення Шеппарда" - це формули, які коригують моменти, обчислені з бінних даних (як ці) де

припускається, що дані керуються розподілом, підтримуваним на кінцевому інтервалі $[a,b]$
цей інтервал послідовно ділиться на рівні відрізки загальної ширини що є відносно невеликим (жоден контейнер не містить велику частку всіх даних) $h$
розподіл має функцію безперервної щільності.

Вони виведені із формули суми Ейлера-Маклауріна, яка наближає інтеграли за лінійними комбінаціями значень інтеграла у регулярно розташованих точках, а тому загалом застосовна (а не лише до нормальних розподілів).

Хоча строго кажучи, нормальний розподіл не підтримується на кінцевому проміжку, до надзвичайно близького наближення він є. По суті вся її вірогідність міститься в межах семи стандартних відхилень середнього значення. Тому виправлення Шеппарда застосовні до даних, які, як вважається, надходять із звичайного розподілу.

Перші два виправлення Шеппарда є

Використовуйте середнє значення бінізованих даних для середнього значення даних (тобто корекція для середнього не потрібна).
Відніміть 2/12 від дисперсії бінізованих даних, щоб отримати (приблизну) дисперсію даних. $h^2/12$

Звідки походить 2/12? Це дорівнює дисперсії рівномірної змінної, розподіленої на інтервал довжини . Тоді інтуїтивно виправлення Шеппарда на другий момент говорить про те, що поповнення даних - фактично замінюючи їх середньою точкою кожного біна -, як видається, додає приблизно рівномірно розподілене значення в межах від та , звідки воно надувається дисперсія . $h^2/12$ $h$ $-h/2$ $h/2$ $h^2/12$

Зробимо розрахунки. Я використовую Rдля їх ілюстрації, починаючи з вказівки рахунків та бункерів:

counts <- c(1,2,3,4,1)
bin.lower <- c(40, 45, 50, 55, 70)
bin.upper <- c(45, 50, 55, 60, 75)

Належна формула, яка використовується для підрахунків, походить від реплікації ширини відрізка на величини, задані підрахунками; тобто зв'язані дані еквівалентні

42.5, 47.5, 47.5, 52.5, 52.5, 57.5, 57.5, 57.5, 57.5, 72.5

Їх кількість, середнє значення та дисперсія можна обчислити безпосередньо, не розширюючи дані таким чином: коли бін має середину та кількість , то його внесок у суму квадратів становить . Це призводить до другої з формул Вікіпедії, цитованої у питанні. $x$ $k$ $kx^2$

bin.mid <- (bin.upper + bin.lower)/2
n <- sum(counts)
mu <- sum(bin.mid * counts) / n
sigma2 <- (sum(bin.mid^2 * counts) - n * mu^2) / (n-1)

Середнє значення ( mu) становить (не потребує корекції), а дисперсія ( ) - . (Його квадратний корінь становить як зазначено у запитанні.) Оскільки загальна ширина біна , віднімаємо диспенсію і беремо його квадратний корінь, отримуючи для стандартного відхилення. $1195/22 \approx 54.32$ sigma2 $675/11 \approx 61.36$ $7.83$ $h=5$ $h^2/12 = 25/12 \approx 2.08$ $\sqrt{675/11 - 5^2/12} \approx 7.70$

Максимальна оцінка ймовірності

Альтернативний метод - застосувати максимальну оцінку ймовірності. Коли припущений базовий розподіл має функцію розподілу (залежно від параметрів що підлягає оцінці), а bin містить значень із набору незалежних, однаково розподілених значень з , тоді (добавка) внесок у ймовірність цього кошика є $F_\theta$ $\theta$ $(x_0, x_1]$ $k$ $F_\theta$

журнал \prod_{i = 1}^{к} (Ж_{θ} (х_{1}) - Ж_{θ} (х_{0})) = к журнал (Ж_{θ} (х_{1}) - Ж_{θ} (х_{0}))

$\log \prod_{i=1}^k \left(F_\theta(x_1) - F_\theta(x_0)\right) = k\log\left(F_\theta(x_1) - F_\theta(x_0)\right)$

(див. MLE / Ймовірність ненормально розподіленого інтервалу ).

Підведення підсумків по всіх бункерах дає ймовірність журналу для набору даних. Як завжди, ми знаходимо оцінку яка мінімізує . Для цього потрібна чисельна оптимізація, а це прискорюється шляхом надання хороших початкових значень для . Наступний код працює для нормального розподілу: $\Lambda(\theta)$ $\hat\theta$ $-\Lambda(\theta)$ $\theta$ R

sigma <- sqrt(sigma2) # Crude starting estimate for the SD
likelihood.log <- function(theta, counts, bin.lower, bin.upper) {
  mu <- theta[1]; sigma <- theta[2]
  -sum(sapply(1:length(counts), function(i) {
    counts[i] * 
      log(pnorm(bin.upper[i], mu, sigma) - pnorm(bin.lower[i], mu, sigma))
  }))
}
coefficients <- optim(c(mu, sigma), function(theta) 
  likelihood.log(theta, counts, bin.lower, bin.upper))$par

Отримані коефіцієнти - . $(\hat\mu, \hat\sigma) = (54.32, 7.33)$

Однак пам’ятайте, що для нормальних розподілів максимальна оцінка правдоподібності (коли дані вказані точно і не поширюються) - це популяція SD даних, а не більш звичайна оцінка «виправленого зміщення», у якій дисперсія множиться на . Давайте (для порівняння) виправимо MLE , знайшовши . Це сприятливо порівнюється з результатом корекції Шеппарда, який становив . $\sigma$ $n/(n-1)$ $\sigma$ $\sqrt{n/(n-1)} \hat\sigma = \sqrt{11/10}\times 7.33 = 7.69$ $7.70$

Перевірка припущень

Для візуалізації цих результатів ми можемо побудувати встановлену нормальну щільність на гістограмі:

hist(unlist(mapply(function(x,y) rep(x,y), bin.mid, counts)),
     breaks = breaks, xlab="Values", main="Data and Normal Fit")
curve(dnorm(x, coefficients[1], coefficients[2]), 
      from=min(bin.lower), to=max(bin.upper), 
      add=TRUE, col="Blue", lwd=2)

Малюнок

Для когось це може не виглядати добре. Однак, оскільки набір даних невеликий (всього значень), можуть виникати напрочуд великі відхилення між розподілом спостережень та справжнім базовим розподілом. $11$

Давайте більш офіційно перевіримо припущення (зроблене MLE), що дані регулюються нормальним розподілом. Приблизну корисність тесту на придатність можна отримати з тесту : оцінені параметри вказують на очікуваний об'єм даних у кожному контейнері; статистик порівнює спостережувані відліки з очікуваними підрахунками. Ось тест з : $\chi^2$ $\chi^2$ R

breaks <- sort(unique(c(bin.lower, bin.upper)))
fit <- mapply(function(l, u) exp(-likelihood.log(coefficients, 1, l, u)),
              c(-Inf, breaks), c(breaks, Inf))
observed <- sapply(breaks[-length(breaks)], function(x) sum((counts)[bin.lower <= x])) -
  sapply(breaks[-1], function(x) sum((counts)[bin.upper < x]))
chisq.test(c(0, observed, 0), p=fit, simulate.p.value=TRUE)

Вихід є

Chi-squared test for given probabilities with simulated p-value (based on 2000 replicates)

data:  c(0, observed, 0) 
X-squared = 7.9581, df = NA, p-value = 0.2449

Програмне забезпечення виконало перестановочний тест (який необхідний тому, що статистика тесту точно не відповідає розподілу чі-квадрата: див. Мій аналіз у розділі Як зрозуміти ступеня свободи ). Його p-значення , що не є малим, свідчить про дуже малий доказ відходу від нормальності: у нас є підстави довіряти максимально можливим результатам. $0.245$

— дзижчати
джерело