Як вибрати попереднє в оцінці параметрів Байєса

Я знаю 3 методи для оцінки параметрів, ML, MAP та підходу Байєса. А для підходу MAP та Bayes нам потрібно вибрати пріори для параметрів, правда?

Скажімо, у мене є модель , в якій - параметри, для того, щоб зробити оцінку за допомогою MAP або Bayes, я прочитав у книзі, що нам краще вибрати сполучник перед , яка є спільною ймовірністю , правда? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

У мене є 2 питання:

Чи є у нас інші варіанти вибору попереднього, крім цього, спрямованого?
Чи можемо ми підібрати пріори для та відповідно, наприклад, та , окрім того, як об'єднати їх у спільний? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— авокадо
джерело

Залежно від того, яке програмне забезпечення ви будете використовувати, апріори, безумовно, не повинні бути пов'язані з функцією ймовірності ... в першу чергу, ви повинні переконатися, що ваші пріори представляють ваші попередні переконання щодо розподілу параметрів

— Патрік Куломбе

Тож я міг просто вибрати пріори відповідно до параметрів, правда? РЕАЛЬНО я просто намагаюся зрозуміти байзійську лінійну регресію, конкретного програмного забезпечення не розглядається

— авокадо

Перегляньте попереднє запитання , наприклад тут

— Scortchi - Відновіть Моніку

Відповіді:

Як зазначено в коментарі, попередній розподіл представляє попередні переконання щодо розподілу параметрів.

Якщо попередні переконання фактично доступні, ви можете:

конвертуйте їх у моменти (наприклад, середня величина та дисперсія), щоб вони відповідали загальному розподілу на ці моменти (наприклад, Гаусса, якщо ваш параметр лежить на реальній лінії, Гамма, якщо він лежить на ). $R^+$
використовуйте своє інтуїтивне розуміння цих переконань, щоб запропонувати заданий попередній розподіл і перевірити, чи дійсно він відповідає вашій меті та чи він не чутливий до довільних виборів (проведення надійності чи аналізу чутливості)

Якщо явних попередніх переконань немає, ви можете:

вивести (або просто використовувати, якщо вже є, чудовим ресурсом є http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) Jeffreys (наприклад, рівномірний для параметра розташування) або посилання на попереднє (особливо в випадок багатоваріантних параметрів).
$g$

$p(a,b)$ $p(a) \cdot p(b)$

подбайте про те, щоб ваша задня частина була інтегрується майже скрізь (або належним чином), що завжди справедливо, якщо ви використовуєте інтеграційний попередній (див. Чи потрібен байєсівський задній простір для правильного розподілу? для більш докладної інформації),
обмежте підтримку свого попереднього, тільки якщо ви впевнені в межі підтримки (тому уникайте цього робити).
і останнє, але не менш важливо, переконайтеся (більшість часу експериментально), що ваш вибір попереднього означає те, що ви хочете висловити. На мою думку, це завдання часом є більш критичним. Ніколи не забував, що, роблячи висновок, попередній нічого не означає сам по собі, ви повинні враховувати заднє (що є поєднанням попереднього та вірогідного).

— peuhp
джерело

Дякую тобі велике, чи не могли б ти порадити мені підручник щодо того, як зробити такий вид байєсівських висновків?

— авокадо

@loganecolss Запрошуємо вас, я особисто був трохи загублений кілька місяців тому, і цей пост є просто підсумком мого самостійного вивчення, і я радий, якщо він може допомогти комусь іншому. Що стосується вашого питання, що ви маєте на увазі під "таким байєсівським висновком"?

— peuhp

Я також самостійно вивчаю матеріали машинного навчання, я знав ML, але цей байєсівський підхід оцінки параметрів є для мене новим, сподіваюся, ви зможете показати мені якийсь матеріал, щоб дізнатися байєсівську оцінку та умовивід, ;-)

— авокадо

@loganecolss, Це хороший підсумок MLE, MAP та байєсівських висновків. І це посилання дає хороший підсумок того, як включити до байєсівського умовиводу біноміальне розподіл.

— Жубарб

Незначна деталізація: власне попереднє завдання являє собою послідовний набір переконань щодо параметрів. Вони не повинні бути вашими переконаннями. Дійсно, моделі часто є більш переконливими, коли вони є чимось іншим.

— кон'югатприор

Існує також емпіричний Байєс. Ідея полягає в налаштуванні попередніх даних:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Хоча це спочатку може здатися незручним, насправді існують відносини до мінімальної довжини опису. Це також типовий спосіб оцінки параметрів ядра гауссових процесів.

— байерж
джерело

Щоб відповісти на два питання вище:

У вас є інші можливості вибрати некон'юговані пріори, окрім кон'югованих пріорів. Проблема полягає в тому, що якщо ви вибираєте некон'юговані пріори, ви не можете зробити точний байєсівський висновок (просто кажучи, ви не можете отримати задню форму близької форми). Швидше, вам потрібно зробити приблизний висновок або скористатися методами вибірки, такими як відбір проб Гіббса, відбракування відбору, MCMC тощо, щоб вивести вас ззаду. Проблема методів відбору проб полягає в тому, що інтуїтивно, це як намалювати слона в темряві, повторюючи його торкаючись ----, ви можете бути упередженими та неповними. Причина, через яку люди вибирають попередньо некон'югат, полягає в тому, що для певної ймовірності варіант попереднього сполучення є досить обмеженим, або, якщо говорити, більшість не є кон'югатними.
Так, ви точно можете. Якщо α і β незалежні, що є ідеалістичною умовою, ви можете отримати їх спільний розподіл p (α) p (β). Якщо вони не є незалежними, вам може знадобитися з'ясувати умовну ймовірність і зробити невід'ємною частиною для отримання спільного розподілу.

— талант
джерело