Чи існує байєсівська інтерпретація для REML?

Чи доступна байєсівська інтерпретація REML? На мою інтуїцію, REML має велику схожість з так званими емпіричними процедурами оцінки Байєса , і мені цікаво, чи не було продемонстровано якесь асимптотичне еквівалентність (під якийсь відповідний клас пріорів). І емпіричний Байєс, і REML здаються "компрометованими" підходами до оцінки, наприклад, в умовах неприємних параметрів .

Головним чином, що я домагаюсь цим питанням, це розуміння на високому рівні, яке мають подібні аргументи. Звичайно, якщо аргумент подібного характеру з якихось причин не може бути корисним для REML, пояснення, чому це так, також дасть привітання!

bayesian asymptotics reml

— Девід К. Норіс
джерело

Цей документ здається актуальним: Foulley J. (1993). Простий аргумент, що показує, як отримати обмежену максимальну ймовірність. J. Молочна наук. 76, 2320–2324. 10,3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii / ...

— DJW

Інтерпретації баєса існують лише в рамках байєсівського аналізу для оцінок, які стосуються заднього розподілу. Отже, єдиним способом, за яким оцінювачу REML можна було б дати байєсівську інтерпретацію (тобто інтерпретацію як оцінювача, взятого ззаду), це якщо ми візьмемо обмежену ймовірність журналу в аналізі REML як журнал-задній у відповідному Аналіз Байєса; в цьому випадку оцінка REML була б оцінкою MAP з байєсівської теорії з відповідною інтерпретацією баєсів.

$\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Це дає нам:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Цей результат дозволяє інтерпретувати оцінювач REML як оцінювач MAP, тому правильна байєсівська інтерпретація оцінювача REML полягає в тому, що саме той оцінювач максимізує задню густину відповідно до вищевказаного .

Проілюструвавши метод надання байєсівської інтерпретації оцінювачу REML, ми зазначимо, що з цим підходом є деякі великі проблеми. Одна з проблем полягає в тому, що пріоритет формується за допомогою компонента вірогідності журналу , який залежить від даних. Отже, "попередній", необхідний для отримання такої інтерпретації, не є реальним попереднім, в сенсі є функцією, яка може бути сформована до перегляду даних. Інша проблема полягає в тому, що попередній часто буває неправильним (тобто він не інтегрується до одного) і може фактично збільшувати вагу, оскільки значення параметрів стають крайніми. (Приклад цього ми покажемо нижче.) $\ell_*(\theta, \nu)$

Виходячи з цих проблем, можна стверджувати, що для оцінювача REML немає розумної байєсівської інтерпретації . Як альтернативи, можна стверджувати , що оцінка REML все ще зберігає вище інтерпретацій байесовских, будучи максимумом апостеріорної оцінки в відповідно до «до» , які по збігу повинні збігатися з спостерігаються даними у зазначеній формі, і може бути надзвичайно неправильними.

Ілюстрація з нормальними даними: Класичний приклад оцінки REML - у випадку нормальних даних де вас цікавить точність а середнє значення - параметр неприємності. У цьому випадку у вас є функція вірогідності журналу: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

У REML ми поділили цю ймовірність журналу на два компоненти:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Ми отримуємо оцінювач REML для параметра точності шляхом максимізації залишкової ймовірності, що дає неупереджений оцінювач для дисперсії:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

У цьому випадку оцінювач REML буде відповідати оцінці MAP для "попередньої" щільності:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Як бачимо, цей "попередній" фактично залежить від спостережуваних значень даних, тому він фактично не може бути сформований до перегляду даних. Більше того, ми можемо бачити, що очевидно «неправильний» пріоритет додає все більшу вагу екстремальним значенням та . (Насправді, цей пріоритет є досить корисним.) Якщо за "збігом обставин" ви мали формувати попереднє, що трапилося, щоб відповідати цьому результату, то оцінювач REML був би оцінником MAP відповідно до цього попереднього, і, отже, була б байєсівська інтерпретація як Оцінювач, який максимально збільшує заднє під цим попереднім. $\theta$ $\nu$

— Бен - Відновлення Моніки
джерело

Яка надзвичайно чітка відповідь! Я відчуваю, що розумію REML набагато краще в результаті, що значною мірою було моєю основною метою. Здається, ваш підхід до розкриття аргументу по суті був для того, щоб визначити, а потім "вирішити" попереднє. Тоді ви переходите до знесення того попереднього, який мені здається критикою (з байєсівської точки зору), спрямованою проти REML. Красиво зроблено!

— Девід К. Норріс

Так, це метод, який я використовував. За аналогією, ми зазвичай даємо MLE байєсівській інтерпретації тим самим методом, тобто, з'ясовуючи, що MLE є ПДЧ за рівномірним попереднім. Отже, загалом, коли ми хочемо знайти аналог Байєса до класичного оцінювача, який формується максимізацією якоїсь функції, ми просто встановлюємо цю функцію на задню, а потім вирішуємо за попередньою. Якщо це дає розумне попереднє значення, тоді у нас є гарна байєсівська інтерпретація; якщо пріоритет є божевільним (як у випадку з REML), то у нас є хороший аргумент, що немає хорошої байєсівської інтерпретації.

— Бен - Відновити Моніку