Оцінка параметра рівномірного розподілу: неправильне попереднє?

У нас є N зразків, $X_i$ , від рівномірного розподілу $[0,\theta]$ де $\theta$ невідомо. Оцініть $\theta$ з даних.

Отже, правило Байєса ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

і ймовірність така:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (редагувати: коли для всіх , а 0 в іншому випадку - дякую блуд) $0 \le X_i \le \theta$ $i$

але не маючи іншої інформації про , здається, що попередній повинен бути пропорційним (тобто рівномірному) або (Jeffreys раніше?) на але тоді мої інтеграли не Я не зближуюся, і я не знаю, як діяти далі. Будь-які ідеї? $\theta$ $1$ $\frac{1}{L}$ $[0,\infty]$

— Буде
джерело

Ваша ймовірність неправильна: вона буде нульовою, коли менше, ніж найбільший .

θ

$\theta$

X_{i}

$X_i$

— whuber

Чи можете ви показати, які інтеграли ви приймаєте?

Так, так, я думаю, я просто не знаю, як боротися з неналежним попереднім. Наприклад, я хочу написати

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Will

Для неналежного до цього = = і для попереднього ви аналогічно отримуєтеОскільки майже напевно, певне, інтеграли будуть сходитися.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

Посилання заднього Бернардо - Парето - дивіться каталог неінформативних пріорів .

— Стефан Лоран

Відповіді:

Це породило цікаву дискусію, але зауважте, що це насправді не має великого значення для питання, що цікавить. Особисто я вважаю, що оскільки є параметром масштабу, аргумент групи перетворень є відповідним, що призводить до пріоритету $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Цей розподіл має ту саму форму при перегляді проблеми (ймовірність також залишається "інваріантною" при переосмисленні). Ядро цього попереднього, можна отримати, розв'язуючи функціональне рівняння . Значення залежать від проблеми, і вони мають значення лише в тому випадку, якщо розмір вибірки дуже малий (наприклад, 1 або 2). Задня частина - це усічений парето, що дається: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Де - N-й статистика замовлення або максимальне значення вибірки. Одержимо середнє заднє значення Якщо ми встановивши і отримаємо простіший експресію .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Але тепер припустимо, що ми використовуємо більш загальний пріоритет, заданий (зауважимо, що ми дотримуємось меж щоб забезпечити все належним чином - жодної сингулярної математики тоді ). Задня частина є такою ж, як вище, але з замінена на - за умови, що . Повторюючи наведені вище обчислення, ми спростили середнє заднє значення $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Тож рівномірний попередній ( ) дасть оцінку умови, що (середнє значення для нескінченно ). Це показує , що дебати тут трохи схоже не використовувати або в якості подільника в оцінці дисперсії. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Одним із аргументів проти використання неправильної рівномірної форми в цьому випадку є те, що заднє є неправильним, коли , оскільки воно пропорційне . Але це має значення лише якщо або дуже мало. $N=1$ $\theta^{-1}$ $N=1$

— ймовірністьіслогічна
джерело

Оскільки, мабуть, метою є отримання деякої вагомої та корисної оцінки , попередній розподіл повинен відповідати специфікації розподілу населення, з якого походить вибірка. Це жодним чином не означає, що ми «обчислимо» попереднє використання самого зразка - це зведе нанівець дійсність усієї процедури. Ми знаємо, що популяція, з якої походить вибірка, - це сукупність iid однорідних випадкових величин, кожна з яких становить . Це виправдане припущення і є частиною попередньої інформації, якою ми володіємо (і вона не має нічого спільного з вибіркою , тобто з конкретною реалізацією підмножини цих випадкових змінних). $\theta$ $[0,\theta]$

Тепер припустимо, що ця сукупність складається з випадкових величин (в той час як наш зразок складається з реалізацій випадкових величин). Витримане припущення говорить нам, що $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

Позначимо для компактності . Тоді у нас є який також можна записати $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

Функція щільності з iid Уніфікованого rv в є $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

для підтримки та нуля в інших місцях. Тоді, використовуючи та застосовуючи формулу змінної змінної, ми отримуємо попередній розподіл для що відповідає дотриманому припущенню: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

що може бути неправильним, якщо ми не визначимо константу відповідним чином. Але наш інтерес полягає у тому, щоб мати належну задню для , а також, ми не хочемо обмежувати можливі значення (виходячи з обмеження, що має на увазі збережене припущення). Таким чином, ми залишаємо невизначеним. Тоді пишемо задній $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

для деякої нормалізуючої константи A. Ми хочемо

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Вставлення в задній

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Зауважте, що невизначена константа попереднього розподілу зручно скасовувати. $c$

Задня частина підсумовує всю інформацію, яку може дати нам конкретний зразок щодо значення . Якщо ми хочемо отримати конкретне значення для ми можемо легко обчислити очікуване значення заднього, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Чи є в цьому результат інтуїція? Що ж, при збільшенні кількості 's більше шансів на те, що максимальна реалізація серед них буде ближче і ближче до їх верхньої межі, - саме це відображає заднє середнє значення : якщо, скажімо , , але якщо . Це свідчить про те, що наша тактика щодо вибору попереднього була розумною і відповідала проблемі, яка існує, але не обов'язково в деякому сенсі "оптимальна". $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— Алекос Пападопулос
джерело

Виходячи з попередніх даних для мене звучить риба. Як ви виправдовуєте такий підхід?

— whuber

Я не маю нічого проти того, що твій пріоритет не "найкращий". Де я щось таке сказав? Я просто намагаюся зрозуміти ваш підхід. Я ще не розумію цієї рівності. Якщо є постійною в рівності , чи означає це, що і і є невипадковими? До речі, ви не використовуєте те, що у виведенні попереднього, чи не так? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— Стефан Лоран

А підтримка вашого попереднього залежить від даних? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— Стефан Лоран

Попередній залежність (навіть якщо це відбувається лише через підтримку) від даних звучить неправильно: ви не можете знати максимум вибірки до того, як зразок був сформований . Більше того, ви стверджуєте, що - це майже впевнена рівність з випадковими і і (таким чином, існує кореляція ). Але це означає, що задній розподіл (який є умовним розподілом даним зразком) є масою Дірака при . І це суперечить вашому виведенню заднього розподілу. ... (жодних символів не залишилося ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— Stéphane Laurent

Задній розподіл є Діраком при означає, що є . Теорема Байєса не є причиною. Ви знищуєте все, припускаючи . Звідси випливає, що , таким чином, умовний розподіл заданого є масою Дірака при , тоді як початкове припущення полягає в тому, що цей розподіл є рівномірним розподілом на .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— Стефан Лоран

Єдина теорема попереднього розподілу (інтервал):

"Якщо сукупність Вашої інформації про межами даних , фіксується одним пропозицією Тоді ваш єдиний можливий логічно-внутрішньо узгоджений попередній специфікація - $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Таким чином, ваша попередня специфікація повинна відповідати попередній Джефрі, якщо ви справді вірите у вищезгадану теорему ".

Не входить до Уніфікованої теорії попереднього розподілу:

Крім того, ви можете вказати свій попередній розподіл як розподіл Парето, який є кон'югованим розподілом для рівномірного, знаючи, що задній розподіл повинен бути іншим рівномірним розподілом за сукупністю. Однак якщо ви використовуєте розподіл Pareto, вам знадобиться певним чином вказати параметри розподілу Pareto. $f(\theta)$

Спочатку ви говорите, що відповідь "єдино можливий логічно внутрішньо" - це рівномірний розподіл, а потім ви переходите до пропозиції альтернативи. Це для мене звучить нелогічно і непослідовно :-).

— whuber

Я не можу погодитися. Наприклад, - також множинаКоли PDF дорівнює для . Але згідно з "теоремою", чий pdf дорівнює в цьому інтервалі. Коротше кажучи, хоча судження не залежить від того, як задається параметризація задачі, висновок "теореми" залежить від параметризації, звідки це неоднозначно.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

БабакП: Як можна сказати, що це теорема ? Теорема - математична довідка з математичним доказом. Цю «теорему» було б більш доцільно назвати «принципом», але це не є розумним, оскільки є суперечливим, як показав @whuber.

— Стефан Лоран

Дякуємо за довідку BabakP. Я хотів би зазначити, що "ескіз доказу" - хибний. Дрейпер ділить інтервал на скінченну кількість однаково розташованих значень і "переходить до межі". Будь-хто може розділити інтервал на значення, розміщені для наближення будь-якої щільності, яка їм подобається, і аналогічно переходить до межі, створюючи абсолютно довільну "лише можливі логічно-внутрішньо узгоджені попередні характеристики". Такий матеріал, а саме, використовуючи погану математику, намагаючись довести, що не-байєси нелогічні - дає байєсівському аналізу (незаслужено) погану назву. (cc @ Stéphane.)

— whuber

@ Stéphane Вибачте, будь ласка, про мою нечутливість ( insensibilité ) - я захоплююсь вашою майстерністю взаємодії тут другою мовою і свідомо не використовую незрозумілі терміни! Богус - прикметник, що походить від 200-річного терміну сленгу в США, що стосується машини для підробки грошей. У цьому випадку це математична машина для підробки теореми :-).

— whuber