Маючи сполучник перед: Глибока властивість чи математична аварія?

Деякі дистрибутиви мають сполучені пріори, а деякі -. Це розрізнення лише випадковість? Тобто ви займаєтесь математикою, і це працює так чи інакше, але це насправді не говорить вам нічого важливого про розподіл, крім самого факту?

Або наявність чи відсутність сполучників попередньо відображає якусь глибшу властивість розподілу? Чи поділяються дистрибутиви зі спорідненими пріорами якісь інші цікаві властивості чи властивості, яких відсутні в інших дистрибутивах, що спричиняє ці розподіли, а не інші, попередньо пов'язані?

Це не випадково. Тут ви знайдете короткий дуже приємний огляд щодо споріднених пріорів. Конкретно, він згадує, що якщо існує набір достовірних статистичних даних фіксованого розміру для заданої функції вірогідності, то ви можете побудувати до неї кон'югат. Наявність набору достатньої статистики означає, що ви можете факторизувати ймовірність за формою, яка дозволяє оцінювати параметри в обчислювально ефективній формі.

Крім того, мати спільні пріори - це не тільки зручно в обчисленні. Він також забезпечує згладжування і дозволяє працювати з дуже невеликими зразками або відсутністю попередніх зразків, що необхідно для таких проблем, як прийняття рішень, у випадках, коли у вас є дуже мало доказів.

Я дуже новачок у баєсівській статистиці, але мені здається, що всі ці розподіли (а якщо не всі, то принаймні ті, що корисні) поділяють властивість, яку вони описують деякою обмеженою метрикою щодо спостережень, що їх визначають . Тобто, для нормального розподілу вам не потрібно знати кожну деталь про кожне спостереження, а лише їх загальну кількість та суму.

Інакше кажучи, якщо припустити, що ви вже знаєте клас / сімейство розповсюдження, то дистрибуція суворо нижча інформаційна ентропія, ніж спостереження, що призвели до цього.

Це здається тривіальним, чи це щось на зразок того, що ви шукаєте?

Які властивості "глибокі" - дуже суб'єктивне питання! тому відповідь залежить від вашої концепції "глибокого". Але, якщо мати споріднені пріори є "глибоким" властивістю, в якомусь сенсі, то це значення є математичним, а не статистичним. Єдиною причиною того, що (деякі) статистики зацікавлені у суміжних пріорах, - це те, що вони спрощують деякі обчислення. Але це менш важливо для кожного дня, який проходить!

 EDIT

Спроба відповісти на коментар @whuber нижче. По-перше, відповідь потрібно запитати точніше, що таке споріднена родина пріорів? Це означає сімейство, яке закрите під час відбору проб, тому (для даної моделі вибірки) попередній та задній розподіли належать одній родині. Це явно справедливо для родини всіх розповсюджень, але ця інтерпретація залишає питання без змісту, тому нам потрібна більш обмежена інтерпретація. Фуртех, як вказував Diaconis & Ylvisaker , для біноміальної моделі, якщо допустимо - обмежену позитивну функцію на а - бета-щільність, то[ 0 , 1 ] f ( p ; α , β ) h ( p ) f ( p ; α , β $h$$[0,1]$$f(p;\alpha,\beta)$$h(p)f(p;\alpha,\beta)$є кон'югатом-попередником. Він не має деяких властивостей звичайного бета-кон'югату попереднього, але сім'я, яку він генерує, закрита під час відбору проб, тому попередньо кон'югат має місце. Ми не отримуємо приємних закритих формул, але нам потрібна лише одна числова інтеграція, щоб отримати константу нормалізації.

Тепер звичайна бета-попередня щільність має ще одне важливе властивість: заднє очікування є лінійною функцією: (для деяких ). Відповідна властивість стосується "звичайних" споріднених пріорів у експоненціальних сім'ях, див. Diaconis & Ylvisaker . Тож у цьому сенсі звичайні сім’ї сполучників грають роль у байєсівській статистиці, подібній теоремі Гаусса-Маркова в класичній статистиці (див. Роль теореми Гаусса-Маркова в лінійній регресії ): це обгрунтування лінійних методів.a,

Існує також інша точка зору, що веде до звичайних суміжних сімей. Якщо ми вважаємо попередню інформацію такою, що представляє інформацію з деяких попередніх даних (з того самого сімейства розподілу вибірки), то ми могли б включити цю інформацію як функцію попередньої ймовірності . Тоді ми могли б отримати комбіновану функцію ймовірності, помноживши попередню ймовірність на ймовірність даних. Натомість ми можемо вибрати представлення попередньої інформації за допомогою попереднього розповсюдження, "звичайний" кон'югат попереднього - це вибір, який дає пропорційний комбінованій ймовірності вище. Дивіться https://en.wikipedia.org/wiki/Conjugate_prior, де дана інтерпретація використовується$\text{prior}\times\text{likelihood}$попередні інтерпретації даних параметрів у перерахованих (звичайних) родинах сполучених груп.

Отже, підсумовуючи, звичайні споріднені сім’ї в експоненціальних родинах можуть бути виправдані як пріори, що ведуть до лінійних методів, або як пріори, що походять від представлення попередніх даних. Сподіваюся, ця розширена відповідь допомагає!