Чому достатня статистика містить всю інформацію, необхідну для обчислення будь-якої оцінки параметра?

Я щойно почав вивчати статистику і не можу зрозуміти достатності. Якщо точніше, я не можу зрозуміти, як показати, що наступні два абзаци рівнозначні:

Приблизно, враховуючи набір X незалежних ідентично розподілених даних, обумовлених невідомим параметром θ, достатньою статистикою є функція T (X), значення якої містить всю інформацію, необхідну для обчислення будь-якої оцінки параметра.

Статистичний T (X) достатній для базового параметра θ саме, якщо умовний розподіл ймовірності даних X за даними статистики T (X) не залежить від параметра θ.

(Я взяв цитати з Достатньої статистики )

Хоча я розумію і друге твердження, і можу використовувати теорему факторизації, щоб показати, чи достатня дана статистика, я не можу зрозуміти, чому статистика з такою властивістю має також властивість, що вона "містить всю інформацію, необхідну для обчислення будь-якої оцінка параметра ". Я не шукаю формального доказу, який би в будь-якому випадку допоміг би вдосконалити своє розуміння, я хотів би отримати інтуїтивне пояснення, чому ці два твердження рівнозначні.

Для резюме, мої запитання: чому два твердження рівноцінні? Чи міг би хтось надати інтуїтивно зрозуміле пояснення їх еквівалентності?

sufficient-statistics

— gcoll
джерело

Основна інтуїтивна ідея полягає в тому, що іноді вам не потрібно бачити весь зразок, оскільки ви можете знайти статистику, яка узагальнює всю інформацію, необхідну з вибірки. Візьмемо, наприклад, біноміальне розподіл: все, що потрібно знати для своєї моделі, - це сума успіхів. Ви не втратите нічого цінного , якби я тільки сказати, що

, замість того , щоб показати вам весь набір дискретних значень

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

— муген

Я розумію, для чого мені потрібна достатня статистика та як показати, що сума успіхів є достатньою статистикою для p у процесі Бернуллі. Я не розумію, чому така статистика, як описана у другому абзаці, містить усю інформацію, необхідну для обчислення будь-якої оцінки параметра.

— gcoll

Власне кажучи, перша цитата - це просто неправильно. Існує маса оцінок, які можна обчислити з усього набору даних, які неможливо обчислити виключно з достатньої статистики. Ось одна з причин цитата починається "приблизно". Інша причина полягає в тому, що вона не дає кількісного або суворого визначення поняття "інформація". Оскільки набагато точніша (але все ж інтуїтивна) характеристика була надана в попередньому пункті, однак із цією цитатою у відповідному контексті

— whuber

Він має зв'язок з максимальною ймовірністю, і це, по суті, інформація, необхідна для максимальної ймовірності

— Kamster

Після коментарів whuber та @Kamster, я, мабуть, зрозумів краще. Коли ми кажемо, що достатня статистика містить усю інформацію, необхідну для обчислення будь-якої оцінки параметра, чи ми маємо на увазі, що достатньо для обчислення максимальної оцінки ймовірності (що є функцією всієї достатньої статистики)? Це правда, все питання стосувалося (не) визначення поняття "інформація", як запропонував Юбер, і на моє запитання відповіли.

— gcoll

Відповіді:

Після коментарів @whuber та @Kamster я, мабуть, зрозумів краще. Коли ми говоримо, що достатня статистика містить всю інформацію, необхідну для обчислення будь-якої оцінки параметра, то, що ми насправді маємо на увазі, це достатньо для обчислення максимальної оцінки ймовірності (що є функцією всієї достатньої статистики).

З огляду на те, що я відповідаю на власне запитання, і тому я не на 100% впевнений у відповіді, я не буду відзначати це як правильне, поки не отримаю певного відгуку. Будь ласка, додайте будь-які коментарі та голосування, якщо ви вважаєте, що я помиляюся / неточний / тощо ...

(Дайте мені знати, якщо це не сумісне з етикетом SE, тому що це моє перше запитання, я прошу вашої милості, якщо я порушую будь-яке правило)

— gcoll
джерело

Коли я вивчав питання щодо достатності, я натрапив на ваше запитання, тому що я також хотів зрозуміти інтуїцію про те, що я зібрав, це те, що я придумав (дайте мені знати, що ви думаєте, якщо я допустив помилки тощо).

Нехай - випадкова вибірка з розподілу Пуассона із середнім . $X_1,\ldots,X_n$ $\theta>0$

Ми знаємо, що є достатньою статистикою для , оскільки умовний розподіл заданий не містить , іншими словами, не залежать від . $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

Тепер статистик знає, що і створює випадкових значень з цього розподілу: $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

Для значень , які створив статистик , він бере його суму і запитує статистику наступне: $A$ $B$

"У мене є ці вибіркові значення взяті з розподілу Пуассона. Знаючи, що , що ви можете сказати мені про цей розподіл?" $x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$

Отже, знаючи лише, що (і той факт, що зразок виник з розподілу Пуассона), достатньо, щоб статистик нічого не сказав про ? Оскільки ми знаємо, що це достатня статистика, ми знаємо, що відповідь - «так». $\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$

Щоб отримати деяку інтуїцію щодо сенсу цього, давайте зробимо наступне (взято з "Введення в математичну статистику" Хогга та Маккена та Крейга, 7-е видання, вправа 7.1.9):

" вирішує створити кілька фальшивих спостережень, які він називає (оскільки він знає, що вони, ймовірно, не будуть рівними початкових значень) наступним чином. Він зазначає, що умовна ймовірність незалежного Пуассона випадкові величини дорівнює , заданому , є $B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

$Y=\sum Z_i$ $n \theta$ $y$ $n$ $1/n$ $B$ $y$ $z_1,\ldots,z_n$

Про це вказує вправа. Отже, зробимо саме це:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

$Z$ $k=0,1,\ldots,13$

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

$\theta$ $Y=\sum X_i$ $n$

$X$ і $Z|y$ :

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

Ми бачимо, що вони дуже схожі (як і очікувалося)

Отже, «з метою прийняття статистичного рішення ми можемо ігнорувати окремі випадкові величини $X_i$ і базувати рішення повністю на $Y=X_1+X_2+\cdots+X_n$ "(Еш, Р." Статистичні умовиводи: стислий курс ", стор. 59).

— Gus_est
джерело

Дозвольте дати ще одну точку зору, яка може допомогти. Це також якісно, але існує сувора версія того, що особливо важливо в Теорії інформації - відомому як власність Маркова.

На початку у нас є два об'єкти, дані (що походять від випадкової змінної, називаємо це X) і параметр, $\theta$ (інший rv, мається на увазі, оскільки ми говоримо про його оцінювач). Ці два, вважаються залежними (інакше, немає сенсу намагатися оцінити одне від іншого). Тепер третій об’єкт входить у гру, достатня статистика, Т. Інтуїтивна ідея, коли ми говоримо, Т досить для оцінки $\theta$ насправді означає, що якщо ми знаємо T (тобто обумовлений T), X не надає додаткової інформації, тобто X і $\theta$ є незалежними. Іншим словом, знання X еквівалентне знанню Т настільки, наскільки це є оцінкою $\theta$ стурбований. Зауважимо, що у ймовірності - це місце, де відображаються всі невизначеності, а отже, "будь-яка оцінка", коли (умовні) ймовірності незалежні (наприклад, умовна щільність, що розбивається на фактори).

— Махді
джерело