Обчисліть довірчий інтервал із вибіркових даних

У мене є вибіркові дані, для яких я б хотів обчислити довірчий інтервал, припускаючи нормальний розподіл.

Я знайшов і встановив пакети numpy та scipy і отримав numpy для повернення середнього та стандартного відхилень (numpy.mean (дані), дані мають список). Будь-яка порада щодо отримання вибіркового інтервалу довіри буде дуже вдячна.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

ви можете розрахувати так.

Ось скорочена версія коду шасана, що обчислює 95% довірчий інтервал середнього масиву a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Але використовувати StatsModels ' tconfint_mean, можливо, навіть приємніше:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Основне припущення для обох полягає в тому, що вибірку (масив a) було взято незалежно від звичайного розподілу з невідомим стандартним відхиленням (див. MathWorld або Wikipedia ).

Для великого розміру вибірки n середня вибірка зазвичай розподіляється, і можна обчислити її довірчий інтервал, використовуючи st.norm.interval()(як це запропоновано в коментарі Хайме). Але наведені вище рішення є правильними і для малих n, де st.norm.interval()даються довірчі інтервали, які занадто вузькі (тобто "фальшива впевненість"). Дивіться мою відповідь на подібне запитання для більш детальної інформації (і один із коментарів Русса тут).

Ось приклад, коли правильні параметри дають (по суті) однакові інтервали довіри:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

І нарешті, неправильний результат із використанням st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Почніть з пошуку z-значення для бажаного інтервалу довіри з оглядової таблиці . Тоді довірчий інтервал - це mean +/- z*sigmaде sigmaсереднє оцінене середнє відхилення вашої вибірки, задане значенням sigma = s / sqrt(n), де sстандартне відхилення, обчислене з ваших даних вибірки, і nрозмір вибірки.

Починаючи Python 3.8, стандартна бібліотека забезпечує NormalDistоб'єкт як частину statisticsмодуля:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Це:

• Створює NormalDistоб’єкт із вибірки даних ( NormalDist.from_samples(data)що дає нам доступ до середнього та стандартного відхилення вибірки через NormalDist.meanі NormalDist.stdev.

• Обчисліть на Z-scoreоснові стандартного нормального розподілу (представленого NormalDist()) для заданої достовірності, використовуючи зворотну функцію кумулятивного розподілу ( inv_cdf).

• Виробляє довірчий інтервал на основі стандартного відхилення вибірки та середнього значення.

Це передбачає, що розмір вибірки є досить великим (скажімо, більше ~ 100 балів), щоб використовувати стандартний нормальний розподіл, а не розподіл учня для обчислення zзначення.