Переваги експоненціальної родини: навіщо ми її вивчати та використовувати?

Так ось я вивчаю умовиводи. Я хотів би, щоб хтось міг перерахувати переваги експоненціальної родини. Під експонентною сім'єю я маю на увазі розподіли, які задаються як

\begin{aligned} f (х | θ) = год (х) досвід {η (θ) Т (х) - Б (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

підтримка якої не залежить від параметра . Ось деякі переваги, які я дізнався: $\theta$

(а) Він включає широкий спектр розповсюдження.

(b) Він пропонує природну достатню статистику згідно теореми Неймана-Фішера. $T(x)$

(d) Це дозволяє легко відокремити зв'язок між відповіддю та предиктором від умовного розподілу відповіді (через функції зв'язку).

Чи може хтось надати якусь іншу перевагу?

self-study exponential-family

— user1337
джерело

щоб забезпечити загальність відповідей: чи є корисні PDF-файли, які не входять до складу експоненціальної родини?

— meduz

Відповіді:

... навіщо нам це вивчати і використовувати?

Я думаю, що ваш перелік переваг ефективно відповідає на ваше власне питання, але дозвольте запропонувати деякі метаматематичні коментарі, які можуть з’ясувати цю тему. Взагалі кажучи, математики люблять узагальнювати поняття та результати до максимальної точки, яку вони можуть, до меж своєї корисності. Тобто, коли математики розроблять концепцію і виявлять, що одна чи декілька корисних теорем застосовуються до цієї концепції, вони, як правило, намагатимуться узагальнювати поняття та результати все більше і більше, поки вони не доберуться до того, що подальше узагальнення зробить результати непридатними або вже не корисно. Як видно з вашого списку, експоненціальна сім'я має ряд корисних теорем, що додаються до неї, і вона включає широкий клас розподілів. Цього достатньо для того, щоб зробити його гідним об’єктом вивчення та корисним математичним класом на практиці.

Чи може хтось надати якусь іншу перевагу?

Цей клас має різні хороші властивості в байєсівському аналізі. Зокрема, експоненціальні сімейні розподіли завжди мають суміжні пріори, і отриманий задній прогнозний розподіл має просту форму. Це робить надзвичайно корисним клас розподілів у баєсівській статистиці. Дійсно, це дозволяє провести байєсівський аналіз, використовуючи кон'юговані приори на надзвичайно високому рівні спільності, охоплюючи всі сімейства розподілу в експоненціальній сім'ї.

— Відновіть Моніку
джерело

Я вдруге номінація "попереднього кон'югата" як причина сподобатися експоненціальній сім'ї. Дійсно, споріднені пріори та достатня статистика дуже добре грають разом, тож вони разом опиняться на моєму списку причин використовувати експоненціальну сім'ю.

— Петро Леопольд

Ах! Я бачу, товариша Байесія!

— Відновіть Моніку

Як ви знаєте, що задній прогноз має просту форму? Наприклад, заднє передбачення нормальної моделі з невідомим середнім значенням і дисперсією є нецентральним, масштабуючи Т. студента. Це проста форма?

— Ніл Г

@Neil G: За даними IID з експоненціальної родини та попередньо спряженим, прогнозний розподіл - це відношення двох примірників нормалізуючої функції для попереднього, де аргументи знаменника оновлюються додаванням достатньої статистики та кількості спостережень для нові дані. Це проста і загальна форма для прогнозного розподілу, яка отримується шляхом знаходження нормуючого коефіцієнта для кон'югату до (див., Наприклад, розділ 9.0.5 цих приміток ).

— Відновіть Моніку

Гаразд, бачу. Я ніколи цього не бачив, дякую.

— Ніл Г

Я б сказав, що найбільш переконливою мотивацією для експоненціальних сімей є те, що вони є мінімальним припущенням розподілу за даними вимірювань . Якщо у вас є датчик з реальною величиною, вимірювання якого узагальнені середнім значенням та дисперсією, то мінімальне припущення, яке ви можете зробити щодо його спостережень, - це те, що вони зазвичай розподіляються. Кожна експоненціальна сім'я є результатом подібного набору припущень.

Джейнес не дотримується цього принципу максимальної ентропії:

“Розподіл максимальної ентропії може бути затверджений з позитивної причини, що він однозначно визначається як той, який є максимально некомітальним щодо відсутньої інформації, а не негативний, що не було підстав думати інакше. Таким чином, концепція ентропії забезпечує відсутній критерій вибору ... "

— Ніл Г
джерело