Як робити оцінку, коли доступні лише зведені статистичні дані?

Частково це мотивоване наступним запитанням та обговоренням, що слідує за ним.

Припустимо, спостерігається зразок iid, $X_i\sim F(x,\theta)$ . Мета - оцінка . Але оригінальний зразок відсутній. Натомість ми маємо деякі статистичні дані зразка . Припустимо , фіксований . Як ми оцінюємо ? Який був би максимальний показник ймовірності в цьому випадку?$\theta$$T_1,...,T_k$$k$$\theta$

У цьому випадку ви можете розглянути наближення ABC ймовірності (і, отже, MLE ) за наступним припущенням / обмеженням:

Припущення. Відомий вихідний розмір зразка $n$ .

Це не дике припущення, враховуючи, що якість, з точки зору конвергенції, частофілістських оцінок залежить від розміру вибірки, тому не можна отримати довільно хороших оцінок, не знаючи початкового розміру вибірки.

Ідея полягає у створенні вибірки із заднього розподілу $\theta$ а для отримання апроксимації MLE можна використовувати техніку вибірки важливості, як у [1], або розглянути єдиний попередній $\theta$ з підтримкою на відповідній встановити, як у [2] .

Я буду описати метод у [2]. Перш за все, дозвольте описати пробник ABC.

ABC пробовідбірник

Нехай - модель, яка генерує вибірку, де θ ∈ Θ - параметр (підлягає оцінці), T - статистика (функція вибірки) і T 0 - спостережувана статистика, в жаргоні ABC це називається зведеною статистикою , ρ - метрикою, π ( θ ) попереднім розподілом на θ і ϵ > 0 допуском. Тоді вибірку ABC-відхилення можна здійснити наступним чином.$f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$$\epsilon>0$

1. Зразок з π ( ⋅ ) .$\theta^*$$\pi(\cdot)$
2. Створіть зразок розміру n з моделі f ( ⋅ | θ ∗ ) .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. Обчисліть .$T^*=T({\bf x})$
4. Якщо , прийняти θ ∗ як симуляцію з задньої частини θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Цей алгоритм генерує приблизний зразок із заднього розподілу заданого T ( x ) = T 0 . Тому найкращий сценарій - це коли статистична величина T достатня, але можна використовувати інші статистичні дані. Більш детальний опис цього див. У цій роботі .$\theta$$T({\bf x})=T_0$$T$

Тепер, у загальних рамках, якщо використовується рівномірний пріоритет, який містить MLE в його підтримці, то Maximum a posteriori (MAP) збігається з Оцінювачем максимальної ймовірності (MLE). Таким чином, якщо ви вважаєте відповідним рівномірним попереднє значення в пробовідбірнику ABC, то ви можете створити приблизний зразок заднього розподілу, MAP якого збігається з MLE. Решта крок складається з оцінки цього режиму. Ця проблема обговорювалася в резюме, наприклад, в "Обчислювально ефективній оцінці багатоваріантного режиму" .

Іграшковий приклад

Нехай бути вибірка з N ( М , 1 ) і припустимо , що тільки інформація , отримана від цього зразка ˉ х = $(x_1,...,x_n)$$N(\mu,1)$. Нехайρ- евклідова метрика вRіϵ=0,001. Наступний код R показує, як отримати приблизний MLE, використовуючи описані вище методи, використовуючи модельований зразок зn=100таμ=0, зразок заднього розподілу розміром1000, рівномірний доμна(-0,3,0,3), і оцінювач щільності ядра для оцінки режиму заднього зразка (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Як ви бачите, використовуючи невеликий допуск, ми отримуємо дуже хороший наближення MLE (який у цьому тривіальному прикладі можна обчислити зі статистики, враховуючи, що він достатній). Важливо зауважити, що вибір підсумкової статистики має вирішальне значення. Квантування зазвичай є хорошим вибором для підсумкової статистики, але не всі варіанти дають гарне наближення. Може статися так, що підсумкова статистика не є дуже інформативною, і тоді якість наближення може бути поганою, що добре відомо в спільноті ABC.

Оновлення: подібний підхід нещодавно опублікований у Fan et al. (2012 р . ) . Дивіться цей запис для обговорення на папері.

Все залежить від того, відомий спільний розподіл тих 's чи ні. Якщо це, наприклад, ( T 1 , … , T k ) ∼ g ( t 1 , … , t k | θ , n ), то ви можете провести максимальну оцінку ймовірності на основі цього спільного розподілу. Зауважте, що, якщо ( T 1 , … , T k ) недостатньо, це майже завжди буде інша максимальна ймовірність, ніж при використанні необроблених даних $T_i$

$g$

Максимальна ймовірність (частота) - така:

$F$

Те, як ви фактично максимізуєте ймовірність, залежить, головним чином, від можливості записати ймовірність аналітично прослідковим чином. Якщо це можливо, ви зможете розглянути загальні алгоритми оптимізації (ньютон-рафсон, симплекс ...). Якщо у вас немає простежуваної ймовірності, вам може бути легше обчислити умовне очікування, як в алгоритмі ЕМ, який також дасть максимальну оцінку ймовірності за досить доступних гіпотез.

Найкраще