Приклад максимальної оцінки після

Я читав про оцінку максимальної ймовірності та максимальну післяорієнтовану оцінку, і поки що я зустрічав конкретні приклади лише з максимальною оцінкою ймовірності. Я знайшов декілька абстрактних прикладів максимальної оцінки після, але нічого конкретного з цифрами: S

Це може бути дуже непосильним, працюючи лише з абстрактними змінними та функціями, і щоб не потонути в цій абстрактності, приємно час від часу пов'язувати речі з реальним світом. Але звичайно, це лише моє (і деякі інші народи) спостереження :)

Тому чи міг би хтось надати мені простий, але конкретний приклад оцінки Максимум Постеріорі з цифрами на ньому? Це б дуже допомогло :)

Дякую!

Я спочатку опублікував це питання в MSE, але не зміг отримати відповідь там:

/math/449386/example-of-maximum-a-posteriori-estimation

Я дотримувався наведених тут інструкцій щодо перехресного опублікування:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

1-й приклад

Типовий випадок - теги в контексті обробки природних мов. Дивіться тут для детального пояснення. Ідея полягає в основному в змозі визначити лексичну категорію слова в реченні (це іменник, прикметник, ...). Основна ідея полягає в тому, що у вас є модель вашої мови, що складається з прихованої моделі маркова ( HMM ). У цій моделі приховані стани відповідають лексичним категоріям, а спостережувані стани власне словам.

Відповідна графічна модель має форму,

де являє собою послідовність слів у реченні, а х = ( х 1 , . . . , х N ) являє собою послідовність тегів.$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

Після навчання, мета - знайти правильну послідовність лексичних категорій, які відповідають заданому вхідному реченню. Це сформульовано як пошук послідовності тегів, які є найбільш сумісними / найімовірніше, були сформовані мовною моделлю, тобто

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

2-й приклад

Власне, кращим прикладом може бути регресія. Не тільки тому, що це легше зрозуміти, а й тому, що чіткі розбіжності між максимальною ймовірністю (ML) та максимальною післярічкою (MAP) зрозумілими.

$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

що дає відоме рішення найменш квадратних помилок. Тепер, ML чутливий до шуму, і за певних обставин не стабільний. MAP дозволяє підібрати кращі рішення, встановлюючи обмеження на ваги. Наприклад, типовим випадком є ​​регресія хребта, де ви вимагаєте, щоб ваги мали якомога меншу норму,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

Зауважте, що у MAP ваги є не параметрами, як у ML, а випадковими змінними. Тим не менш, і ML та MAP - це точкові оцінки (вони повертають оптимальний набір ваг, а не розподіл оптимальних ваг).