Відбір проб з неправильної дистрибуції (використовуючи MCMC та інше)

Моє основне питання: як би ви взяли вибірку з неправильного розподілу? Чи є навіть сенс вибірки з неправильного розподілу?

Коментар Сіань тут вирішує питання, але я шукав ще деякі деталі щодо цього.

Більш конкретно для MCMC:

Розповідаючи про MCMC та читаючи статті, автори наголошують на тому, що вони отримали належні розподіли задня частина. Є відомий документ Гейєра (1992 р.), Де автор забув перевірити, чи правильно розміщена їхня задня частина (інакше відмінна праця).

Але, припустимо, у нас є ймовірність та неправильне попереднє розподіл на θ, таким чином, що результуюча задня частина також є неправильною, і MCMC використовується для вибірки з розподілу. У цьому випадку, що вказує зразок? Чи є корисна інформація в цьому зразку? Мені відомо, що ланцюг Маркова тут є або тимчасовим, або нульовим-рецидивуючим. Чи є якісь позитивні результати, якщо вони повторюються в нуль ?$f(x|\theta)$$\theta$

Нарешті, у відповідь Ніл Джі тут , він уже - х

типово можна робити зразки (використовуючи MCMC) із задньої частини, навіть якщо вона неправильна.

Він згадує, що такий вибірки є загальним у глибокому навчанні. Якщо це правда, як це має сенс?

$f$$f$$(\Omega,\sigma,{\mathbb P})$ (простір, сигма-алгебра, міра ймовірності ).

Якщо у вас є модель з неправильним попереднім, що призводить до неправильної задньої, у багатьох випадках ви все ще можете взяти зразок з неї за допомогою MCMC, наприклад, Metropolis-Hastings, і "задні зразки" можуть виглядати розумними. Це виглядає на перший погляд інтригуючим та парадоксальним. Однак причиною цього є те, що методи MCMC на практиці обмежені чисельними обмеженнями комп'ютерів, і тому всі опори обмежені (і дискретні!) Для комп'ютера. Тоді, під цими обмеженнями (обмеженість та дискретність), заднє місце є фактично належним у більшості випадків.

Є велика довідка Гоберта і Казелла, яка представляє приклад (дещо іншого характеру), де ви можете сконструювати пробник Гіббса для задньої частини, задні зразки виглядають цілком розумно, але задня частина неправильна!

http://www.jstor.org/stable/2291572

Нещодавно тут з’явився подібний приклад . Насправді, Гоберт і Казелла попереджають читача, що методи MCMC не можуть бути використані для виявлення невідповідності задньої частини і що це необхідно перевірити окремо, перш ніж застосовувати будь-які методи MCMC. Підсумовуючи:

1. Деякі пробовідбірники MCMC, такі як Metropolis-Hastings, можуть (але не повинні) використовуватися для вибірки з неналежної задньої панелі, оскільки комп'ютер обмежується і дикретизує простір параметрів. Тільки якщо у вас є величезні зразки, ви можете спостерігати якісь дивні речі. Наскільки добре ви можете виявити ці проблеми, також залежить від "інструментального" розподілу, використовуваного у вашому пробовідбірнику. Останній пункт вимагає більш широкого обговорення, тому я вважаю за краще залишити його тут.
2. (Гоберт і Казелла). Те, що ви можете побудувати пробовідбірник Гіббса (умовна модель) для моделі з неправильним попереднім, не означає, що задня (спільна модель) є правильною.
3. Офіційна ймовірнісна інтерпретація задніх зразків вимагає пристосованості заднього зразка. Результати та докази конвергенції встановлюються лише для правильного розподілу / заходів ймовірності.

PS (трохи язиком у щоках): не завжди вірю, що люди роблять у машинному навчанні. Як сказав професор Брайан Ріплі: "машинне навчання - це статистика мінус будь-яка перевірка моделей і припущень".

Даючи альтернативні, більш застосовані, погляди на відмінну відповідь Рода вище -

$+/- 10^{100}$

$1/x$ , це погана новина для алгоритмів, які розраховують очікувані значення, але якщо я скорочую його за приблизною кількістю людей у Сан-Франциско, кількість дещо більша за кількість хот-догів, які насправді будуть продані в парку AT&T наступні вихідні, все добре, принаймні з точки зору існування моментів. В останньому випадку ви можете розглядати це як якесь двоступеневе застосування реальногопопередній - один, який я використовую для обчислення, який не має верхньої межі, і його "додаткова особливість", коли він дорівнює нулю вище населення Сан-Франциско ... ", причому" додаткова функція "застосовується в крок після генерування вибірки. Реальний попередній не той, який використовується в обчисленні MCMC (у моєму прикладі.)

Так що в принципі я був би цілком в порядку з використанням зразка, створеного MCMC, від неправильного розподілу в застосованій роботі, але я б звернув багато уваги на те, як виникла ця несправедливість і як на неї вплине випадкова вибірка . В ідеалі на випадкову вибірку це не вплине, як у моєму прикладі хот-догів, де в розумному світі ви ніколи насправді не генеруєте випадкове число, що перевищує кількість людей у ​​Сан-Франциско ...

Ви також повинні знати про те, що ваші результати можуть бути досить чутливими до особливості задньої частини, яка спричинила її неправильність, навіть якщо згодом укорочуєте її у великій кількості (або будь-яка зміна підходить для вашої моделі. ) Ви хочете, щоб ваші результати були надійними до незначних змін, які зміщують вашу задню частину з неправильної на належну. Це може бути важче забезпечити, але все це є частиною більшої проблеми забезпечення того, щоб ваші результати були надійними для ваших припущень, особливо тих, які зроблені для зручності.