Інтервал довіри для відхилення за одним спостереженням

Це проблема із "7-ї студентської олімпіади ім. Колмогорова з теорії ймовірностей":

Враховуючи одне спостереження від розподілу з обома параметрами невідомими, дайте довірчий інтервал для з рівнем довіри принаймні 99%. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Мені здається, що це має бути неможливим. У мене є рішення, але я його ще не прочитав. Будь-які думки?

Я опублікую рішення через пару днів.

[Подальше редагування: Офіційне рішення розміщено нижче. Рішення кардинала довше, але дає кращий довірчий інтервал. Дякую також Максу та Glen_b за їхній внесок.]

— Джонатан Крістенсен
джерело

Мені здається і неможливим; Чекаю відповіді

— Пітер Флом - Відновіть Моніку

Перевірте цей сайт .

— припускаєтьсянормальне

Ось папір з кращим форматуванням: папір .

— припускаєтьсянормальне

Хе. Я пам'ятаю, як багато років тому читав документ про цей матеріал (один інтервал спостереження). Можливо, це був цей .

— Glen_b -Встановити Моніку

@Max, дякую за посилання! Я ще не встиг придивитись уважно до цього, але буду. "Офіційну" відповідь я розмістив нижче.

— Джонатан Крістенсен

Відповіді:

Якщо розглядати об'єктив нерівностей ймовірностей та зв’язок із випадком багаторазового спостереження, цей результат може здатися не таким вже неможливим, або, принаймні, може здатися більш правдоподібним.

Нехай з і невідомо. Ми можемо записати для . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Основна претензія : - інтервал довіри для де - рівня рівня розподілу chi-квадратом з одним ступенем свобода. Крім того, так як цей інтервал має рівно охоплення , коли , це самий вузький можливий інтервал виду для деякого . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Причина для оптимізму

Нагадаємо, що у випадку , при , типовим довірчим інтервалом для є де є рівневий квантиль хі-квадрат з ступенями свободи. Це, звичайно, стосується будь-якого . Хоча це найпопулярніший інтервал ( з очевидних причин називається інтервалом з рівними хвостами ), він не є єдиним, навіть не найменшою шириною! Як очевидно, інший правильний вибір є $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Оскільки, , то також має покриття щонайменше . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Якщо дивитися в такому світлі, то ми можемо бути оптимістичними щодо того, що інтервал в основній заявці відповідає дійсності . Основна відмінність полягає в тому, що не існує чі-квадратного розподілу нуля ступеня свободи для випадку єдиного спостереження, тому ми маємо сподіватися, що використання квантиля ступеня свободи спрацює. $n = 1$

На півкроку до нашого пункту призначення ( експлуатування правого хвоста )

Перш ніж зануритися в доказ основної претензії, давайте спочатку розглянемо попередню претензію, яка не є настільки сильною або статистично задовольняє, але, можливо, дає деяке додаткове розуміння того, що відбувається. Ви можете пропустити до доказу основної претензії нижче, без великих (якщо такі є) збитків. У цьому розділі і далі наступні докази, хоча і трохи тонкі, базуються лише на елементарних фактах: монотонність ймовірностей, симетричність та неоднорідність нормального розподілу.

Допоміжна претензія : - інтервал довіри для тих пір, як . Тут є рівневий квантиль стандартного нормального. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Доказ . іпо симетрії, тож у подальшому ми можемо приймати без втрати загальності. Тепер для і , і так з , ми бачимо, що Це працює лише для , оскільки це те, що потрібно для . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Це доводить допоміжну вимогу. Незважаючи на те, що вона є показовою з статистичної точки зору, оскільки вимагає нерозумно великої для роботи. $\alpha$

Доведення основної претензії

Уточнення вищезгаданого аргументу призводить до результату, який буде працювати для довільного рівня довіри. Спочатку зауважимо, що Встановіть і . Тоді Якщо ми можемо показати, що права частина збільшується на для кожного фіксованого , тоді ми можемо використовувати аналогічний аргумент, як у попередньому аргументі. Це принаймні правдоподібно, оскільки ми хочемо вірити, що якщо середня величина зростає, то стає більш ймовірним, що ми бачимо значення з модулем, що перевищує

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Однак ми повинні стежити за тим, як швидко маса зменшується в лівому хвості!)

Встановіть . Тоді Зверніть увагу , що і для позитивного , зменшується в . Тепер для легко побачити, що . Ці факти, взяті разом, легко означають, що для всіх і будь-яких фіксованих . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Отже, ми показали, що для і , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Розв’язавши все це, якщо взяти , отримаємо що встановлює основну претензію. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Заключне зауваження : уважне читання наведеного аргументу показує, що він використовує лише симетричні та унімодальні властивості нормального розподілу. Отже, підхід працює аналогічно для отримання довірчих інтервалів від одного спостереження з будь-якої симетричної унімодальної сімейства масштабування, наприклад, розподілу Коші або Лапласа.

— кардинальний
джерело

Оце Так! а від студентів очікується, що вони стикаються з таким типом аргументів за короткий час іспиту на олімпіаду?

— Діліп Сарват

@Dilip: Я поняття не маю! Мені незнайомий формат цієї олімпіади або те, що очікується з точки зору рішення. З буквального читання я вважаю, що відповідь Скортчі буде прийнятною. Мені було більше цікаво намагатися розібратися, як далеко можна дійти з нетривіальним рішенням. Моє власне (досить мінімальне) дослідження пішло за тим самим рухом думки, який описано у відповіді (з одним об’їздом). Цілком ймовірно, що існує краще рішення. :-)

— кардинал

Це значно довше, ніж "офіційне" рішення, але воно краще обмежує дисперсію, тому я відзначаю це як "правильну" відповідь. Я розмістив "офіційну" відповідь нижче, а також деякі результати моделювання та обговорення. Дякую, @cardinal!

— Джонатан Крістенсен

@Jonathan: Дякую Так, я міг би зробити доказ зовсім трохи коротше. Завдяки широкому колу тут учасників, я часто схильний балуватися додатковими (або, можливо, надмірними) деталями. :-)

— кардинал

Час слідкувати! Ось таке рішення мені було надано:

Побудуємо довірчий інтервал форми , де є деякою статистикою. За визначенням це буде довірчий інтервал з рівнем довіри принаймні 99%, якщо $[0,T(X))$ $T(\cdot)$ Зауважимо, що щільність розподілуне перевищує
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ . Томудля кожного. Звідси випливає, що Підключення $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ отримуємо, що відповідною статистикою є $t = 0.01$ $T(X) = 10000X^2.$

Інтервал довіри (який дуже широкий) є дещо консервативним у моделюванні, без емпіричного висвітлення (у 100 000 моделювання) нижче 99,15%, оскільки я змінював резюме на багато порядків.

Для порівняння я також імітував інтервал довіри кардинала. Слід зазначити, що інтервал кардинала є дещо вужчим - у 99% випадку його кінець дорівнює приблизно , на відміну від у наданому рішенні. Емпіричне висвітлення є правильним на номінальному рівні, знову ж таки, на багато порядків для резюме. Тож його інтервал точно виграє. $6300X^2$ $10000X^2$

Я не встиг уважно подивитися на опублікований Максом документ, але я все-таки планую розглянути це і можу пізніше додати коментарі щодо цього (тобто не раніше ніж за тиждень). Цей документ вимагає 99% довірчого інтервалу , який має емпіричне покриття трохи нижче (приблизно 98,85%), ніж номінальне покриття для великих резюме в моїх коротких моделюваннях. $(0,4900X^2)$

— Джонатан Крістенсен
джерело

(+1) Це приємне рішення. Якщо ви маєте

замість

у рівнянні дисплея?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— кардинал

Ще кілька моментів: ваше рішення може бути зроблено дуже близьким до мого, не змінюючи аргументу. Зауважте, що ви можете стверджувати, що

. Тоді інтервал стає

для будь-якого

. Використовуючи

виходить

проти

у моїй відповіді. Чим вище рівень довіри (тобто, чим менше

), тим ближче ваш метод порівнюється з моїм (хоча ваш інтервал завжди буде ширшим).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— кардинальний

По-друге, я не дивився на цей папір, але я сумніваюся, що

може бути дійсним 99% довірчим інтервалом. Дійсно, врахуйте всі довірчі інтервали форми

для деякого

. Тоді, коли

, маємо, що

точно чі-квадрат з одним ступенем свободи, і тому найменший

ми могли б вибрати в цьому випадку, є

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$ . Іншими словами, інтервал, вказаний у моїй відповіді, є найбільш вузьким із заявленої форми.

— кардинал

Я зробив (підозрюваний) виправлення друку. Крім того, pchisq(1/4900,1,lower.tail=F)у Rвіддачі 0.9886, досить близьких до ваших результатів моделювання за інтервал

(0, 4900 X^{2})

$(0,4900X^2)$

— кардинал

Дякую за всі коментарі, @cardinal. Я думаю, що ваша зміна є правильною, хоч я вводив її так, як це було в оригінальних рішеннях - помилка друку там.

— Джонатан Крістенсен

Конфігураційний імовірно. $(0,\infty)$

— Скорчі - Відновлення Моніки
джерело

Я думаю, вам було б корисно сказати, чому ви не можете отримати інтервал довіри з обмеженою довжиною.

— припускаєтьсянормальне

@Max Я недостатньо розумний - але питання не задавав його.

— Scortchi

+1 для цього. Питання не говорить про те, що CI має мінімальне охоплення, і насправді має на увазі, що це може бути прийнятним через його цікаве формулювання, "інтервал довіри з рівнем довіри не менше 99%".

— Арі Б. Фрідман