Чи є неупереджений оцінювач відстані Хеллінгера між двома розподілами?

В умовах , коли спостерігається $X_1,\ldots,X_n$ розподілено з розподілу з щільністю $f$ , цікаво , якщо є несмещенная оцінка (на основі «ов) відстаней Хеллінгера до іншого розподілу з щільністю $X_i$ $f_0$ , а саме

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Сіань
джерело

Тож f0 відомий і фіксований. Але чи відомо вам або з параметричної родини чи ви робите це в непараметричних рамках з усім, що ви знаєте про f, що виходить з вашого зразка? Я думаю, що це має значення при спробі відповіді.

— Майкл Р. Черник

@MichaelChernick: припустимо, що все, що ви знаєте про

f

$f$ є зразком

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$ .

— Сіань

Я не думаю, що це було підраховано (якщо воно існує). Якщо існує, то в АПК є загублений брат.

Напад на цю проблему виглядає здійсненним, якщо вважати, що

f

$f$ і

f_{0}

$f_0$ є дискретними. Це призводить до очевидного оцінювача (обчисліть відстань Хеллінгера між EDF і

f_{0}

$f_0$ ). Запуск завантаження (теоретично, не за допомогою моделювання!) Допоможе нам вирішити можливі ухили, а також спосіб зменшити (або навіть усунути) зміщення. Я сподіваюсь на деяку надію досягти успіху на відстані у квадраті, а не на самій відстані, оскільки це математично більш простежується. Припущення дискретного

f

$f$ не є проблемою в додатках; простір дискретного

f

$f$ все одно є щільним підмножиною.

— качан

На розум доводиться доказ Розенблатта, що немає "добросовісного" неупередженого оцінювача

. Чи можемо ми подолати це і отримати неперевершений оцінювач

? Не знаю.

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Дзен

Відповіді:

Немає несмещенная оцінка або з або не існує для з будь-якого досить широкого класу непараметрических розподілів. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Ми можемо показати це за допомогою дуже простого аргументу

Бікель і Леманн (1969). Об'єктивна оцінка у опуклих сім'ях . Аннали математичної статистики, 40 (5) 1523–1535. ( проект euclid )

Зафіксуйте деякі розподіли , і з відповідними густинами , і . Нехай позначить , і нехай бути деяка оцінка на основі н.о.р. зразків . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Припустимо , що є несмещенной для зразків з будь-якого розподілу виду Але тоді $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

так що

повинна бути многочленом

з ступінь не більше

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Тепер спеціалізуємося на розумному випадку та покажемо, що відповідний не є многочленом. $Q$

Нехай - деякий розподіл, який має постійну щільність на : для всіх . (Його поведінка поза цим діапазоном не має значення.) Нехай - деякий розподіл, підтримуваний лише на , а деякий розподіл підтримується лише на . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Тепер де

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

і аналогічно для

. Зауважимо, що

для будь-яких розподілів

які мають щільність.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

не є поліномом будь-якого кінцевого ступеня. Таким чином, ніякої оцінки не може бути неупередженим дляна все розподілуз кінцевим числом зразків. $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

Так само, тому що також не є многочленом, не існує оцінювачаякий би не є об'єктивним для всіх розподілівз кінцевим числом зразків. $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Це виключає майже всі розумні непараметричні класи розподілів, за винятком тих, з щільністю, обмеженою внизу (припущення, що іноді роблять непараметричні аналізи). Ви, ймовірно, могли також вбити ці класи подібним аргументом, просто зробивши щільність постійною чи щось таке.

— Дугал
джерело

Я не знаю, як побудувати (якщо він існує) об'єктивний оцінювач відстані Хеллінгера. Здається, побудувати послідовний оцінювач. Маємо деяку фіксовану відому щільність і випадковий зразок від щільності . Хочемо оцінити $f_0$ $X_1,\dots,X_n$ $f>0$

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

де

. За SLLN ми знаємо, що

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

майже напевно, як

. Отже,ефективний спосіб оцінки

буде приймати деякий показник щільності

(наприклад, традиційна оцінка щільності ядра) з

, і обчислити

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Дзен
джерело

@Zen: Добрий момент! Я вважаю цю відповідь , як в відповідь , тому що він змусив мене зрозуміти ,

звучить дуже схожий на стандартне відхилення, для якого не існує неупередженого оцінювача. Що стосується дисперсії

, без яких - або побоювань:

H

$H$

{\hat{H}}_{n}^{2}

$\hat H^2_n$

випливає, що цей оцінювач має кінцеву дисперсію.

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$

— Сіань

Дякую за роз’яснення щодо дисперсії оцінювача, Сіань!

— Дзен

k

$k$

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$ .)

— Dougal