UMVUE з під час вибірки з сукупності

Нехай - випадкова вибірка з щільності $(X_1,X_2,\ldots,X_n)$
$f_{θ} (x) = θ x^{θ - 1} 1_{0 < x < 1}, θ > 0$ $f_{\theta}(x)=\theta x^{\theta-1}\mathbf1_{0<x<1}\quad,\,\theta>0$

Я намагаюся знайти UMVUE . $\frac{\theta}{1+\theta}$

Щільність стику становить $(X_1,\ldots,X_n)$

\begin{aligned} f_{θ} (x_{1}, \dots, x_{n}) & = θ^{n} {(\prod_{i = 1}^{n} x_{i})}^{θ - 1} 1_{0 < x_{1}, \dots, x_{n} < 1} \\ = \exp [(θ - 1) \sum_{i = 1}^{n} \ln x_{i} + n \ln θ + \ln (1_{0 < x_{1}, \dots, x_{n} < 1})], θ > 0 \end{aligned}

$\begin{align} f_{\theta}(x_1,\cdots,x_n)&=\theta^n\left(\prod_{i=1}^n x_i\right)^{\theta-1}\mathbf1_{0<x_1,\ldots,x_n<1} \\&=\exp\left[(\theta-1)\sum_{i=1}^n\ln x_i+n\ln\theta+\ln (\mathbf1_{0<x_1,\ldots,x_n<1})\right],\,\theta>0 \end{align}$

Оскільки сукупність pdf належить до однопараметричного експоненціального сімейства, це показує, що повна достатня статистика для є $f_{\theta}$ $\theta$

T (X_{1}, \dots, X_{n}) = \sum_{i = 1}^{n} \ln X_{i}

$T(X_1,\ldots,X_n)=\sum_{i=1}^n\ln X_i$

Так , на перший погляд, дасть мені UMVUE з сама Теорема Леманна-Шеффе. Не впевнений, чи можна знайти це умовне очікування безпосередньо або треба знайти умовний розподіл . $E(X_1)=\frac{\theta}{1+\theta}$ $E(X_1\mid T)$ $\frac{\theta}{1+\theta}$ $X_1\mid \sum_{i=1}^n\ln X_i$

З іншого боку, я розглядав такий підхід:

У нас , так що . $X_i\stackrel{\text{i.i.d}}{\sim}\text{Beta}(\theta,1)\implies -2\theta\ln X_i\stackrel{\text{i.i.d}}{\sim}\chi^2_2$ $-2\theta\, T\sim\chi^2_{2n}$

Отже, й порядковий момент - про нуль, що обчислюється за допомогою chi-квадрата pdf - це $r$ $-2\theta\,T$

E (- 2 θ T)^{r} = 2^{r} \frac{Γ (n + r)}{Γ (n)}, n + r > 0

$E(-2\theta\,T)^r=2^r\frac{\Gamma\left(n+r\right)}{\Gamma\left(n\right)}\qquad ,\,n+r>0$

Отже, здається, що для різних цілих варіантів вибору я отримав би неупереджені оцінки (та UMVUE) різних цілих повноважень . Наприклад, і безпосередньо дайте мені UMVUE's та відповідно. $r$ $\theta$ $E\left(-\frac{T}{n}\right)=\frac{1}{\theta}$ $E\left(\frac{1-n}{T}\right)=\theta$ $\frac{1}{\theta}$ $\theta$

Тепер, коли нас . $\theta>1$ $\frac{\theta}{1+\theta}=\left(1+\frac{1}{\theta}\right)^{-1}=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Я точно можу отримати UMVUE's тощо. Таким чином, поєднуючи ці UMVUE, я можу отримати необхідну UMVUE . Чи дійсний цей метод чи слід переходити до першого методу? Оскільки UMVUE є унікальним, коли він існує, обидва повинні дати мені однакову відповідь. $\frac{1}{\theta},\frac{1}{\theta^2},\frac{1}{\theta^3}$ $\frac{\theta}{1+\theta}$

Щоб бути ясним, я отримую

E (1 + \frac{T}{n} + \frac{T^{2}}{n (n + 1)} + \frac{T^{3}}{n (n + 1) (n + 2)} + \dots) = 1 - \frac{1}{θ} + \frac{1}{θ^{2}} - \frac{1}{θ^{3}} + \dots

$E\left(1+\frac{T}{n}+\frac{T^2}{n(n+1)}+\frac{T^3}{n(n+1)(n+2)}+\cdots\right)=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Тобто,

E (\sum_{r = 0}^{\infty} \frac{T^{r}}{n (n + 1) . . . (n + r - 1)}) = \frac{θ}{1 + θ}

$E\left(\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\right)=\frac{\theta}{1+\theta}$

Чи можливо, що потрібний UMVUE є коли ? $\displaystyle\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}$ $\theta>1$

Для я отримав би , і тому UMVUE відрізнявся б. $0<\theta<1$ $g(\theta)=\theta(1+\theta+\theta^2+\cdots)$

Переконавшись, що умовного очікування в першому підході неможливо знайти безпосередньо, і оскільки , я продовжив знайти умовний розподіл . Для цього мені була потрібна щільність стику . $E(X_1\mid \sum\ln X_i=t)=E(X_1\mid \prod X_i=e^t)$ $X_1\mid \prod X_i$ $(X_1,\prod X_i)$

Я використав зміну змінних таким чином, що для всіх . Це призводить до того, що спільна підтримка є . $(X_1,\cdots,X_n)\to (Y_1,\cdots,Y_n)$ $Y_i=\prod_{j=1}^i X_j$ $i=1,2,\cdots,n$ $(Y_1,\cdots,Y_n)$ $S=\{(y_1,\cdots,y_n): 0<y_1<1, 0<y_j<y_{j-1} \text{ for } j=2,3,\cdots,n\}$

Якобійський визначник виявився . $J=\left(\prod_{i=1}^{n-1}y_i\right)^{-1}$

Отже, я отримав щільність спільного як $(Y_1,\cdots,Y_n)$

f_{Y} (y_{1}, y_{2}, \dots, y_{n}) = \frac{θ^{n} y_{n}^{θ - 1}}{\prod_{i = 1}^{n - 1} y_{i}} 1_{S}

$f_Y(y_1,y_2,\cdots,y_n)=\frac{\theta^n\, y_n^{\theta-1}}{\prod_{i=1}^{n-1}y_i}\mathbf1_S$

спільна щільність є $(Y_1,Y_n)$

f_{Y_{1}, Y_{n}} (y_{1}, y_{n}) = \frac{θ^{n} y_{n}^{θ - 1}}{y_{1}} \int_{0}^{y_{n - 2}} \int_{0}^{y_{n - 3}} \dots \int_{0}^{y_{1}} \frac{1}{y_{3} y_{4} . . . y_{n - 1}} \frac{d y_{2}}{y_{2}} \dots d y_{n - 2} d y_{n - 1}

$f_{Y_1,Y_n}(y_1,y_n)=\frac{\theta^n\,y_n^{\theta-1}}{y_1}\int_0^{y_{n-2}}\int_0^{y_{n-3}}\cdots\int_0^{y_1}\frac{1}{y_3y_4...y_{n-1}}\frac{\mathrm{d}y_2}{y_2}\cdots\mathrm{d}y_{n-2}\,\mathrm{d}y_{n-1}$

Чи можу я використати тут іншу трансформацію, яка зробила б виведення щільності суглоба менш громіздким? Я не впевнений, чи перейняв я тут правильну трансформацію.

Спираючись на кілька чудових пропозицій у розділі коментарів, я знайшов щільність стику замість щільності стику де і . $(U,U+V)$ $(X_1,\prod X_i)$ $U=-\ln X_1$ $V=-\sum_{i=2}^n\ln X_i$

Відразу видно, що і є незалежними. $U\sim\text{Exp}(\theta)$ $V\sim\text{Gamma}(n-1,\theta)$

І справді, . $U+V\sim\text{Gamma}(n,\theta)$

Для густина спільності дорівнює $n>1$ $(U,V)$

f_{U, V} (u, v) = θ e^{- θ u} 1_{u > 0} \frac{θ^{n - 1}}{Γ (n - 1)} e^{- θ v} v^{n - 2} 1_{v > 0}

$f_{U,V}(u,v)=\theta e^{-\theta u}\mathbf1_{u>0}\frac{\theta^{n-1}}{\Gamma(n-1)}e^{-\theta v}v^{n-2}\mathbf1_{v>0}$

Змінюючи змінні, я отримав щільність суглоба як $(U,U+V)$

f_{U, U + V} (u, z) = \frac{θ^{n}}{Γ (n - 1)} e^{- θ z} (z - u)^{n - 2} 1_{0 < u < z}

$f_{U,U+V}(u,z)=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta z}(z-u)^{n-2}\mathbf1_{0<u<z}$

Отже, умовна щільність є $U\mid U+V=z$

f_{U ∣ U + V} (u ∣ z) = \frac{(n - 1) (z - u)^{n - 2}}{z^{n - 1}} 1_{0 < u < z}

$f_{U\mid U+V}(u\mid z)=\frac{(n-1)(z-u)^{n-2}}{z^{n-1}}\mathbf1_{0<u<z}$

Тепер мій UMVUE - це рівно , як я вже зазначив на початку цієї публікації. $E(e^{-U}\mid U+V=z)=E(X_1\mid \sum_{i=1}^n\ln X_i=-z)$

Отже, все, що потрібно зробити, це знайти

E (e^{- U} ∣ U + V = z) = \frac{n - 1}{z^{n - 1}} \int_{0}^{z} e^{- u} (z - u)^{n - 2} d u

$E(e^{-U}\mid U+V=z)=\frac{n-1}{z^{n-1}}\int_0^z e^{-u}(z-u)^{n-2}\,\mathrm{d}u$

Але останній інтеграл має закриту форму з точки зору неповної гамма-функції відповідно до Mathematica , і мені цікаво, що робити зараз.

— ВпертийАтом
джерело

Вам слід продовжити перший метод, знайшовши умовний розподіл , з якою формою достатньої статистики може бути простіше працювати в цій програмі.

X_{[1]} | \prod X_{i}

$X_{[1]} | \prod X_i$

— jbowman

У точці (на початку), де ви вводите вам слід подумати про роботу з точки зору зміннихМайже негайно вони пропорційні розподілам , що швидко зводить вашу проблему до розгляду спільного розподілу де та Це дозволить скоротити залишки двох сторінок математики та дати швидкий шлях до рішення.

T

$T$

Y_{i} = - \log X_{i} .

$Y_i=-\log X_i.$

Γ (1)

$\Gamma(1)$

(U, U + V)

$(U,U+V)$

U \sim Γ (1)

$U\sim\Gamma(1)$

V \sim Γ (n - 1) .

$V\sim\Gamma(n-1).$

— whuber

@whuber Щоб бути зрозумілим, чи пропонуєте ви, що я спочатку знаходжу щільність і звідси знаходжу щільність ? Я помітив, що - це експоненціальні змінні зі швидкістю (яка, як ви говорите, також є змінною Gamma), але не думала працювати з цим.

(- \ln X_{1}, - \ln X_{1} - \sum_{i = 2}^{n} \ln X_{i})

$(-\ln X_1,-\ln X_1-\sum_{i=2}^n\ln X_i)$

(X_{1}, \prod X_{i})

$(X_1,\prod X_i)$

- \ln X_{i}

$-\ln X_i$

θ

$\theta$

— StubbornAtom

@whuber Але як би я отримав від безпосередньо?

E (X_{1} ∣ . . .)

$E(X_1\mid ...)$

E (\ln X_{1} ∣ . . .)

$E(\ln X_1\mid ...)$

— StubbornAtom

@whuber Перегляньте мою редакцію. Я майже це зробив, але не впевнений, що робити з цим інтегралом. Я досить впевнений, що мої розрахунки правильні.

— StubbornAtom

Відповіді:

Виявляється, обидва підходи (моя початкова спроба та інший на основі пропозицій у розділі коментарів) у моєму початковому дописі дають однакову відповідь. Я викладу тут обидва методи для повної відповіді на питання.

Тут означає щільність гамма де і позначає експоненціальний розподіл із середнім значенням , ( ). Ясно, що . $\text{Gamma}(n,\theta)$ $f(y)=\frac{\theta^n}{\Gamma(n)}e^{-\theta y}y^{n-1}\mathbf1_{y>0}$ $\theta,n>0$ $\text{Exp}(\theta)$ $1/\theta$ $\theta>0$ $\text{Exp}(\theta)\equiv\text{Gamma}(1,\theta)$

Оскільки є повним достатнім для і , за теоремою Леманна-Шеффе - це UMVUE . Тому ми маємо знайти це умовне очікування. $T=\sum_{i=1}^n\ln X_i$ $\theta$ $\mathbb E(X_1)=\frac{\theta}{1+\theta}$ $\mathbb E(X_1\mid T)$ $\frac{\theta}{1+\theta}$

Зауважимо, що . $X_i\stackrel{\text{i.i.d}}{\sim}\text{Beta}(\theta,1)\implies-\ln X_i\stackrel{\text{i.i.d}}{\sim}\text{Exp}(\theta)\implies-T\sim\text{Gamma}(n,\theta)$

Спосіб I:

Нехай і , так що і є незалежними. Дійсно, і , що означає . $U=-\ln X_1$ $V=-\sum_{i=2}^n\ln X_i$ $U$ $V$ $U\sim\text{Exp}(\theta)$ $V\sim\text{Gamma}(n-1,\theta)$ $U+V\sim\text{Gamma}(n,\theta)$

Отже, . $\mathbb E(X_1\mid \sum_{i=1}^n\ln X_i=t)=\mathbb E(e^{-U}\mid U+V=-t)$

Тепер ми знаходимо умовний розподіл . $U\mid U+V$

Для і щільність з'єднання дорівнює $n>1$ $\theta>0$ $(U,V)$

\begin{aligned} f_{U, V} (u, v) & = θ e^{- θ u} 1_{u > 0} \frac{θ^{n - 1}}{Γ (n - 1)} e^{- θ v} v^{n - 2} 1_{v > 0} \\ = \frac{θ^{n}}{Γ (n - 1)} e^{- θ (u + v)} v^{n - 2} 1_{u, v > 0} \end{aligned}

$\begin{align}f_{U,V}(u,v)&=\theta e^{-\theta u}\mathbf1_{u>0}\frac{\theta^{n-1}}{\Gamma(n-1)}e^{-\theta v}v^{n-2}\mathbf1_{v>0}\\&=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta(u+v)}v^{n-2}\mathbf1_{u,v>0}\end{align}$

Змінюючи змінні, відразу, що щільність суглоба є $(U,U+V)$

f_{U, U + V} (u, z) = \frac{θ^{n}}{Γ (n - 1)} e^{- θ z} (z - u)^{n - 2} 1_{0 < u < z}

$f_{U,U+V}(u,z)=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta z}(z-u)^{n-2}\mathbf1_{0<u<z}$

Нехай бути щільність . Таким чином, умовна щільність дорівнює $f_{U+V}(\cdot)$ $U+V$ $U\mid U+V=z$

\begin{aligned} f_{U ∣ U + V} (u ∣ z) & = \frac{f_{U, U + V} (u, z)}{f_{U + V} (z)} \\ = \frac{(n - 1) (z - u)^{n - 2}}{z^{n - 1}} 1_{0 < u < z} \end{aligned}

$\begin{align}f_{U\mid U+V}(u\mid z)&=\frac{f_{U,U+V}(u,z)}{f_{U+V}(z)}\\&=\frac{(n-1)(z-u)^{n-2}}{z^{n-1}}\mathbf1_{0<u<z}\end{align}$

Тому . $\displaystyle\mathbb E(e^{-U}\mid U+V=z)=\frac{n-1}{z^{n-1}}\int_0^z e^{-u}(z-u)^{n-2}\,\mathrm{d}u$

Тобто UMVUE є $\frac{\theta}{1+\theta}$ $\displaystyle\mathbb E(X_1\mid T)=\frac{n-1}{(-T)^{n-1}}\int_0^{-T} e^{-u}(-T-u)^{n-2}\,\mathrm{d}u\tag{1}$

Спосіб II:

Оскільки є цілком достатньою статистикою для , будь-який об'єктивний оцінювач який є функцією буде UMVUE за теоремою Леманна-Шеффе. Тож ми переходимо до пошуку моментів , розподіл яких нам відомий. Ми маємо, $T$ $\theta$ $\frac{\theta}{1+\theta}$ $T$ $\frac{\theta}{1+\theta}$ $-T$

E (- T)^{r} = \int_{0}^{\infty} y^{r} θ^{n} \frac{e^{- θ y} y^{n - 1}}{Γ (n)} d y = \frac{Γ (n + r)}{θ^{r} Γ (n)}, n + r > 0

$\mathbb E(-T)^r=\int_0^\infty y^r\theta^n\frac{e^{-\theta y}y^{n-1}}{\Gamma(n)}\,\mathrm{d}y=\frac{\Gamma(n+r)}{\theta^r\,\Gamma(n)},\qquad n+r>0$

Використовуючи це рівняння, ми отримуємо неупереджені оцінки (та UMVUE) для кожного цілого числа . $1/\theta^r$ $r\ge1$

Тепер для нас $\theta>1$ $\displaystyle\frac{\theta}{1+\theta}=\left(1+\frac{1}{\theta}\right)^{-1}=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Об’єднавши неупереджені оцінки отримаємо $1/\theta^r$

E (1 + \frac{T}{n} + \frac{T^{2}}{n (n + 1)} + \frac{T^{3}}{n (n + 1) (n + 2)} + \dots) = 1 - \frac{1}{θ} + \frac{1}{θ^{2}} - \frac{1}{θ^{3}} + \dots

$\mathbb E\left(1+\frac{T}{n}+\frac{T^2}{n(n+1)}+\frac{T^3}{n(n+1)(n+2)}+\cdots\right)=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Тобто

E (\sum_{r = 0}^{\infty} \frac{T^{r}}{n (n + 1) . . . (n + r - 1)}) = \frac{θ}{1 + θ}

$\mathbb E\left(\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\right)=\frac{\theta}{1+\theta}$

Отже, припускаючи , UMVUE дорівнює $\theta>1$ $\frac{\theta}{1+\theta}$ $g(T)=\displaystyle\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\tag{2}$

Я не впевнений у випадку у другому методі. $0<\theta<1$

Згідно з Mathematica , рівняння має закриту форму з точки зору неповної гамма-функції. І в рівнянні ми можемо виразити добуток з точки зору звичайної гамма-функції як . Це, можливо, забезпечує очевидний зв'язок між та . $(1)$ $(2)$ $n(n+1)(n+2)...(n+r-1)$ $n(n+1)(n+2)...(n+r-1)=\frac{\Gamma(n+r)}{\Gamma(n)}$ $(1)$ $(2)$

Використовуючи Mathematica, я міг би переконатися, що та справді одне й те саме. $(1)$ $(2)$

— ВпертийАтом
джерело

Насправді, рівність між і випливає з написання розширення ряду потужностей в а потім заміни інтеграла і суми.

(1)

$(1)$

(2)

$(2)$

e^{- u}

$e^{-u}$

(2)

$(2)$

— StubbornAtom

Я думаю, що ми можемо дійти до більш компактної відповіді, про яку ви натякали стосовно верхньої неповної функції гами. Використовуючи перший метод, я знайшов вираз

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = (n - 1) \int_{0}^{1} z^{r} {(1 - r)}^{n - z} d r,

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right]=\left( n - 1 \right) \int_0^1 z^r \left( 1 - r \right)^{n-z}dr,$ де

z = e^{T} .

$z=e^T.$

Вольфрам Альфа інтегрує це, щоб отримати

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = \frac{e^{T} (n - 1)}{T^{n - 1}} [(n - 2)! - Γ (n - 1, T)]

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right] = \frac{e^T \left( n-1 \right)}{T^{n-1} } \left[ \left( n-2 \right) !-\Gamma \left(n-1,T \right) \right]$

Тепер термін неповного гамма-функції має закриту форму, коли - ціле число. це є $n$

Γ (n - 1, T) = \frac{Γ (n - 1)}{e^{T}} \sum_{j = 0}^{n - 2} \frac{T^{j}}{j!}

$\Gamma \left(n-1,T \right)=\frac{\Gamma \left(n-1 \right)}{e^T} \sum_{j=0}^{n-2} \frac{T^j}{j!}$

Переписуючи очікування та спрощуючи, ми знаходимо

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = \frac{Γ (n)}{T^{n - 1}} [e^{T} - \sum_{j = 0}^{n - 2} \frac{T^{j}}{j!}]

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right] = \frac{\Gamma \left( n \right)}{T^{n-1}} \left[ e^T-\sum_{j=0}^{n-2} \frac{T^j}{j!} \right]$

У мене немає доступу до програмного забезпечення, яке перевірить еквівалентність вашим результатам і , але ручні обчислення для і збігаються з вашим . $(1)$ $(2)$ $n=2$ $n=3$ $(1)$

— соклей
джерело

Там, де ви написали ви повинні мати

E [X_{1} ∣ x_{1} x_{2} \dots x_{n} = e^{T}],

$\operatorname E\left[ X_1\mid x_1x_2\cdots x_n=e^T \right],$

E [X_{1} ∣ X_{1} X_{2} \dots X_{n} = e^{T}] .

$\operatorname E\left[ X_1\mid X_1X_2\cdots X_n=e^T \right]. \qquad$

— Майкл Харді