Експоненціальна сім'я: спостережена порівняно з очікуваною достатньою статистикою

Моє запитання виникає при читанні читання "Мінки Діріхле" розподілу Мінки , в якому зазначено наступне без доказів у контексті отримання оцінки максимальної ймовірності розподілу Діріхле на основі спостережень за випадковими векторами:

Як і завжди з експоненціальною сім'єю, коли градієнт дорівнює нулю, очікувана достатня статистика дорівнює достатній статистиці, що спостерігається.

Я не бачив оцінювання максимальної ймовірності в експонентній родині, представленої таким чином, і не знайшов підходящих пояснень у своєму пошуку. Чи може хтось запропонувати зрозуміти залежність між спостережуваною та очікуваною достатньою статистикою, а може допомогти зрозуміти максимальну оцінку ймовірності як мінімізацію їх різниці?

— Бен Брей
джерело

Це звичайне твердження про експоненціальну родину, але, на мою думку, більшість випадків це висловлюється таким чином, що може бентежити менш досвідченого читача. Тому що, взяті за номіналом, це можна інтерпретувати так, що "якщо наша випадкова величина слідує за розподілом в експоненціальній сім'ї, то якщо ми візьмемо вибірку і введемо її в достатню статистику, ми отримаємо справжнє очікуване значення статистики ". Якби це було так ... Більше цього він не враховує розмір вибірки, що може спричинити подальше плутанину.

Функція експоненціальної щільності - це

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

де є достатньою статистикою. $T(x)$

Оскільки це щільність, вона повинна інтегруватися до єдності, тому ( є підтримкою ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Eq справедливо для всіх щоб ми могли диференціювати обидві сторони стосовно нього: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Змінюючи порядок диференціації та інтеграції, отримуємо

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Проведення диференціації у нас

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

Вставивши в отримаємо $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

Тепер ми запитуємо: ліва частина - це дійсне число. Отже, правий бік також повинен бути справжнім числом, а не функцією . Тому його слід оцінювати за конкретним , і воно повинно бути "істинним" , інакше в лівій частині ми не мали б справжнього очікуваного значення . Щоб підкреслити це, позначимо справжнє значення через , і як $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

Перейдемо зараз до максимальної оцінки ймовірності . Імовірність журналу для вибірки розміру дорівнює $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

Встановивши його похідну відносно дорівнює отримаємо MLE $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

Порівняйте з . Права сторона не є рівною, оскільки ми не можемо стверджувати, що оцінювач MLE вплинув на справжнє значення. Тож ні ліві боки. Але пам’ятайте, що ек. утримується для всіх а також для також. Отже, кроки в екв. можна прийняти відносно і тому ми можемо написати еквівалент. для : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

що в поєднанні з призводить нас до дійсного відношення $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

про що насправді говорить твердження, яке перевіряється: очікуване значення достатньої статистики під MLE для невідомих параметрів (іншими словами, значення першого необробленого моменту розподілу, який ми отримаємо, якщо будемо використовувати замість ) дорівнює (і це не просто наближається до) середнього рівня достатньої статистики, обчисленої з вибірки . $\hat \theta(x)$ $\theta$ $\mathbf x$

Більше того, лише якщо розмір вибірки ми могли б точно сказати, "очікуване значення достатньої статистики за MLE дорівнює достатній статистиці". $n=1$

— Алекос Пападопулос
джерело

Чи можете ви детальніше пояснити, чому перехід від 6a до 6b дійсний, будь ласка?

— Теоден

@Theoden Між екв. і я пишу "еквівалент утримується для всіх " - і тому для також. Отже всі кроки в еквіваленті. можна прийняти стосовно . Я повторив це зауваження в тексті для наочності.

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Алекос Пападопулос

@AlecosPapadopoulos, наведений нижче, здається, говорить про те, що те, що ви говорите на початку, - "якщо наша випадкова величина слідує за розподілом в експоненціальній сім'ї, то якщо ми візьмемо вибірку і введемо її в достатню статистику, ми отримаємо справжнє очікуване значення статистики "вірно. Я маю на увазі, що я завжди завжди можу це зробити для (2), замінивши його на достатньо спостережувану статистику та отримати результат. Що я тут пропускаю? Я не дуже розумію.

— користувач10024395

@ user136266 Справжнє очікуване значення статистики - , і для того, щоб обчислити, треба знати параметр за невідомим дизайном . Тож, що ми можемо насправді обчислити, це що є очікуваним значенням статистики за припущенням, що наша бальна оцінка досягла справжнього значення .

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Алекос Пападопулос

Чи можете ви пояснити, чому ми можемо змінювати порядок диференціації та інтеграції в рівнянні. (3) будь ласка?

— Markus777