Рішення проблеми німецьких танків

Чи існує формальне математичне підтвердження того, що розв’язання німецької задачі про танк є функцією лише параметрів k (кількість спостережуваних зразків) і m (максимальне значення серед спостережуваних зразків)? Іншими словами, чи можна довести, що рішення не залежить від інших значень вибірки, окрім максимального значення?

mathematical-statistics sufficient-statistics

— Богдан Олександру
джерело

Ви запитуєте, як показати, що максимум вибірки достатній для параметра

θ

$\theta$ визначає верхню межу дискретного рівномірного розподілу від 1 до .

θ

$\theta$

— Scortchi

Теорема факторизації Фішера Неймана Імовірнісна функція, ймовірність спостережуваних зразків (узагальнена максимальним ) за даними параметрами (кількість резервуарів) можна повністю записати через і Це буде відповідь?

k

$k$

m

$m$

n

$n$

k

$k$

m

$m$

Pr (M = m | n, k) = {\begin{cases} 0 & if m > n \\ \frac{(\binom{m - 1}{k - 1})}{(\binom{n}{k})} & if m \leq n, \end{cases}

$\Pr(M=m | n,k) = \begin{cases} 0 &\text{if } m > n \\ \frac{\binom{m - 1}{k - 1}}{\binom n k} &\text{if } m \leq n, \end{cases}$

— Секст

@Scortchi це правильно, дякую, що перефразовували це більш чітко для мене.

— Богдан Олександру

@MartijnWeterings немає; по суті, я прошу (цитуючи коментар Скортчі вище) про підтвердження того, що максимум вибірки достатній для рішення, не фактично обчислюючи рішення.

— Богдан Олександру

Отже, ви не шукаєте теорему факторизації Фішера Неймана як доказ?

— Секст

Відповіді:

Ймовірність

Поширені проблеми в теорії ймовірностей стосуються ймовірності спостережень заданою моделлю та з урахуванням включених параметрів (назвемо їх ). Наприклад, ймовірність виникнення конкретних ситуацій у карткових іграх або іграх на кубики дуже однозначна. $x_1, x_2, ... , x_n$ $\theta$

Однак у багатьох практичних ситуаціях ми маємо справу з оберненою ситуацією ( інфекційна статистика ). Тобто: дані спостереження , і тепер модель невідома , або, принаймні, ми не знаємо певних параметрів . $x_1, x_2, ... , x_k$ $\theta$

У таких типах проблем ми часто посилаємося на термін, який називається вірогідністю параметрів , що є швидкістю віри в конкретний параметр даними спостережень . Цей термін виражається як пропорційний ймовірності спостережень припускаючи, що параметр моделі був би гіпотетично правдивим. $\mathcal{L(\theta)}$ $\theta$ $x_1, x_2, .. x_k$ $x_1, x_2, .. x_k$ $\theta$

L (θ, x_{1}, x_{2}, . . x_{k}) \propto probability observations x_{1}, x_{2}, . . x_{k} given θ

$\mathcal{L}(\theta,x_1, x_2, .. x_k) \propto \text{probability observations $x_1, x_2, .. x_k$ given $\theta$ }$

Для даного значення параметра чим більш імовірним є певне спостереження (відносно ймовірності з іншими значеннями параметрів), тим більше спостереження підтримує цей конкретний параметр (або теорія / гіпотеза, що передбачає цей параметр) . (Відносна) велика ймовірність посилить наші думки щодо цього значення параметра (про це можна сказати набагато більше філософського ). $\theta$ $x_1, x_2, .. x_n$

Ймовірність проблеми німецьких танків

Тепер для німецької проблеми з танком функція ймовірності для набору зразків : $x_1, x_2, .. x_k$

L (θ, x_{1}, x_{2}, . . x_{k}) = Pr (x_{1}, x_{2}, . . x_{k}, θ) = {\begin{cases} 0 & if max (x_{1}, x_{2}, . . x_{k}) > θ \\ {(\binom{θ}{k})}^{- 1} & if max (x_{1}, x_{2}, . . x_{k}) \leq θ, \end{cases}

$\mathcal{L}(\theta,x_1, x_2, .. x_k ) = \Pr(x_1, x_2, .. x_k, \theta) = \begin{cases} 0 &\text{if } \max(x_1, x_2, .. x_k) > \theta \\ {{\theta}\choose{k}}^{-1} &\text{if } \max(x_1, x_2, .. x_k) \leq \theta, \end{cases}$

Незалежно від того, чи спостерігаєте ви зразки {1, 2, 10} або зразки {8, 9, 10}, не має значення, коли зразки розглядаються за рівномірного розподілу з параметром . Обидва вибірки однаково вірогідні і, використовуючи ідею ймовірності, один зразок не розповідає більше про параметр ніж інший вибірки. $\theta$ ${{\theta}\choose{3}}^{-1}$ $\theta$

Високі значення {8, 9, 10} можуть змусити вас думати / вірити, що має бути вище. Але це лише значення {10}, яке справді дає вам релевантну інформацію про ймовірність (значення 10 говорить вам, що буде десять і більше, інші значення 8 і 9 нічого не сприяють цій інформації ). $\theta$ $\theta$ $\theta$

Теорема факторизації Фішера Неймана

Ця теорема говорить вам про те, що певна статистика (тобто деяка функція спостережень, наприклад, середня, середня або як у німецькій проблемі з максимумом максимум) є достатньою (містить всю інформацію), коли Ви можете визначити у функції ймовірності умови, які залежать від інших спостережень , так що цей коефіцієнт не залежить як від параметра і з (і частина функції ймовірності, яка пов'язує дані з гіпотетичними значеннями параметрів, залежить лише від статистичних даних, але не від усіх даних / спостережень). $T(x_1, x_2, … , x_k)$ $x_1, x_2, … , x_k$ $\theta$ $x_1, x_2, … , x_k$

Випадок проблеми німецьких танків простий. Вище бачите, що весь вираз для ймовірності вище вже залежить лише від статистики а решта значень значення не мають. $\max(x_1, x_2, .. x_k)$ $x_1, x_2, .. x_k$

Маленька гра як приклад

Скажімо, ми граємо в таку гру неодноразово: сама по собі є випадковою змінною і малюється з однаковою ймовірністю або 100, або 110. Потім ми малюємо вибірку . $\theta$ $x_1,x_2,...,x_k$

Ми хочемо вибрати стратегію відгадування , виходячи із спостережуваних що максимально збільшує нашу ймовірність мати правильну здогадку . $\theta$ $x_1,x_2,...,x_k$ $\theta$

Правильною стратегією буде вибір 100, якщо одне з чисел у вибірці не буде> 100.

Ми можемо спокуситись вибрати значення параметра 110 вже тоді, коли багато хто з як правило, мають усі високі значення, близькі до ста (але жодне точно більше ста), але це було б неправильно. Ймовірність такого спостереження буде більшою, коли значення справжнього параметра 100, ніж коли воно дорівнює 110. Тож якщо ми вгадаємо, що в такій ситуації 100 як значення параметра, то ми будемо менше шансів помилитися (оскільки ситуація з цими високими значеннями, близькими до сотні, але все ще нижче її, виникає частіше у випадку, коли справжнє значення 100, а не у випадку, коли справжнє значення дорівнює 110). $x_1,x_2,...,x_k$

— Секст Емпірік
джерело

Дивовижне, саме те, що мені було потрібно! Лише один коментар до вашої останньої дужки: ви говорите: "ці високі значення, близькі до сотні, трапляються частіше ...", і я розумію, чому це правда, але просто для уточнення: будь-яке значення між 1 і 100 швидше виникає коли якщо параметр 100 (по суті, ймовірність для кожного числа в 1-100 дорівнює 1 / параметр).

— Богдан Олександру

Крім того, тепер ваш перший коментар до моєї публікації має сенс - якби я знав, як застосувати ці поняття, ваш коментар був би саме натяком, який би мені знадобився для отримання доказів. Знову дякую!

— Богдан Олександру

@BogdanAlexandru ви праві; це правда для будь-якого значення між 1-100. Це контрінтуїтивна ідея, ми схильні вважати, що більш високі спостережувані значення є якимось чином більш доказовим для деякого значення параметра, ніж низькі спостережувані значення, але для будь-якого числа однаково вірогідні, і, отже, нічого не повинно сприяти нашим думкам про параметр моделі ( За винятком максимального значення, яке ми спостерігаємо. Але навіть у грі, яку я зробив лише з вибором між двома значеннями, воно таке, що навіть максимальне не дає більше інформації, коли воно вище або нижче, за винятком сто меж).

— Секст

Мій початковий коментар, можливо, був надто важким, але я просто засумував, щоб побачити, яку відповідь потрібно. Особливо я вважаю термін "доказ" трохи сильним і мені цікаво, чи ви просто шукали теорему про факторизацію (на це було б питання, на яке відповіли так, коли ви не знали б цю теорему) або ви шукали щось більш розпливчасте і філософські, як навіть складні поняття статистики / ймовірності та виходять за межі такої теореми, щоб шукати різного типу «доказів».

— Секст

Добре читайте тоді про мої наміри! Знову дякую.

— Богдан Олександру

Ви не представили точної постановки "проблеми", тому не зовсім зрозуміло, що ви просите довести. З байєсівської точки зору, задня ймовірність залежить від усіх даних. Однак кожне спостереження за певним порядковим номером найбільше підтримуватиме це число. Тобто, враховуючи будь-яке спостереження , коефіцієнт шансів між задніми та попередніми буде більшим для гіпотези "фактична кількість танків - ", ніж для "фактична кількість танків - [число, відмінне від ]". Таким чином, якщо ми почнемо з рівномірного попереднього, то буде мати найвищу задню частину після того, як побачимо це спостереження. $n$ $n$ $n$ $n$

Розглянемо випадок, коли ми маємо точку даних та гіпотези . Очевидно, що заднє для дорівнює нулю. І наші афіші для будуть більшими, ніж їхні попередні. Причиною цього є те, що в байесівських міркуваннях відсутність доказів є свідченням відсутності. Кожен раз, коли у нас є можливість, де ми могли б зробити спостереження, яке зменшило б нашу ймовірність, але ні, ймовірність збільшується. Оскільки ми могли бачити , які встановили б наші плакати на до нуля, той факт, що ми цього не бачили, означає, що ми повинні збільшити своїх плакатів для $13$ $N=10,13,15$ $N=10$ $N=13,15$ $16$ $N=13,15$ $N=13,15$ . Але зауважте, що чим менша кількість, тим більше цифр ми могли бачити, що виключало б це число. Для , то ми б відкинули цю гіпотезу після перегляду . Але для нам було б потрібно принаймні щоб відкинути гіпотезу. Оскільки гіпотеза є більш фальсифікованою, ніж , той факт, що ми не підробляли є більш свідченням для , ніж не фальсифікація є свідченням для . $N=13$ $14,15,16,...$ $N=15$ $16$ $N=13$ $N=15$ $N=13$ $N=13$ $N=15$ $N=15$

Таким чином, кожен раз, коли ми бачимо точку даних, вона встановлює задню частину всього, що знаходиться під нею, до нуля, і збільшує задню частину всього іншого, при цьому менші числа отримують найбільший приріст. Таким чином, число, яке отримує загальний найбільший приріст, буде найменшим числом, заднє число якого не було встановлено на нуль, тобто максимальне значення спостережень.

Числа менші від максимальних впливають на те, наскільки більший приріст отримує максимум, але це не впливає на загальну тенденцію до отримання максимального збільшення. Розглянемо наведений вище приклад, де ми вже бачили . Якщо наступне число, яке ми бачимо, - , який ефект це матиме? Це допомагає на більше , але обидва числа вже відхилено, тому це не має значення. Це допомагає більше , але вже їм було надано більше , так що це не впливає на те, яке число найбільше допомогло. $13$ $5$ $5$ $6$ $13$ $15$ $13$ $15$

— Накопичення
джерело

Цей приклад багато залежить від ситуації, і твердження не є загальними. Наприклад, якщо пріоритет становить 50% для 13 і 50% для 15, то спостереження 13 не таке, що "наші позиціонери для N = 13, 15 будуть більшими за їх попередні" Спостереження можуть зменшити заднє відносно попереднього .

— Секст

Також спостереження за додатковими числами може змінити умовивід. У випадку "якщо наступне число, яке ми бачимо, 5 ...", то заднє все одно зміниться, навіть коли числа вже "допомогли", додаткові числа можуть збільшити цю "допомогу" (наприклад, коли ви відбираєте всі числа 1,2, ... 12, 13, тоді це збільшить задній на 13 більше, ніж коли ви будете лише зразком 13)

— Секст