Довідка в очікуванні Максимізація з паперу: як включити попередній розподіл?

9

Питання грунтується на роботі під назвою: Реконструкція зображення в дифузній оптичній томографії за допомогою зв'язаної моделі радіаційного транспорту-дифузії.

Посилання для завантаження

Автори застосовують алгоритм ЕМ з регуляризацією розрідженості невідомого вектора $l_1$ $\mu$ для оцінки пікселів зображення. Модель задана

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Оцінка наведена у рівнянні (8) як

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

У моєму випадку я вважав $\mu$ бути фільтром довжини $L$ і $\mathbf{\mu}$ є $L \times 1$ вектори, що представляють фільтри. Тому,

Модель можна переписати як

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Питання: Постановка проблеми: ${\mu(n)}$ (n по 1) - незафіксований вхід і $\{e(n)\}$ - нульове значення з невідомою дисперсією $\sigma^2_e$ аддитивний шум. Рішення MLE базуватиметься на максимізації очікувань (EM).

У статті Eq (19) є функція - повна ймовірність журналу, але для мого випадку я не розумію, як я можу включити розподіл у повному виразі вірогідності журналу. $A$ $A, \mu$

Якою буде повна ймовірність використання журналу з використанням EM включаючи попередній розподіл? $y$

— СКМ
джерело

Ви дійсно хочете, щоб вірогідність журналу була, або ви хочете, замість цього, журнал задній? Лише останній буде включати лаплакійський поперед. Перший можна просто отримати, взявши журнал вірогідності, який, здається, ви вже виписали

Мені потрібно два вирази - (1) Одне, яке буде використано для пошуку інформаційної матриці Фішера, та (2) інше - це pdf повного набору даних, що включає приховану змінну

Z

$Z$ та спостережень, яка є спільною щільністю ймовірності спостережуваних даних як функції параметра

θ

$\theta$ . Написаний мною pdf застосовується до моделі МА для сліпої оцінки

θ

$\theta$ . Але, як це буде відрізнятися обмеження обмеженості = Laplacian до того, щоб можна було знайти матрицю інформації Фішера з часткових похідних log-ймовірності.

— СКМ

@ Xi'an: Я не розумію, як підключити 3 pdf, які включають попереднє у формулювання вірогідності журналу. Я можу розробити максимізацію, яка полягає в тому, щоб взяти часткову похідну і прирівняти до нуля. Скажіть, будь ласка, відповідь із явно виписаним виразом ймовірності. Це дійсно допоможе

— SKM

3

Якщо ми розглянемо ціль як

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$ представлення на основі ЕМ - для довільного , через розкладання або яке працює для довільного значення (оскільки в lhs немає жодного ) і, отже, також працює для будь-яких очікувань у : для будь-якого умовного розподілу заданого , наприклад

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$ . Тому якщо ми максимізуємо в з рішенням нас є а стандартними аргументами ЕМ. Тому і використовуючи в якості E кроку ціль

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$ призводить до збільшення заднього на кожному кроці М, що означає, що модифікований алгоритм ЕМ переходить до локальної MAP.

— Сіань
джерело

Дякую за вашу відповідь Чи являє собою pdf ? Чи можете ви, будь ласка, чому в очікуванні рівняння, згаданого у другому рядку, віднімаються 2 очікування, коли Буде віднято?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— СКМ

Я додав деякі пояснення, але ви повинні перевірити в підручнику походження алгоритму ЕМ, оскільки це стандартний матеріал.

— Сіань

1

Я не думаю, що показ монотонного зростаючого log-posterior (або ймовірності журналу для MLE) є достатнім для показу конвергенції до стаціонарної точки оцінки MAP (або MLE). Наприклад, прирости можуть стати довільно невеликими. У відомому документі Ву 1983 р. Достатньою умовою наближення до стаціонарної точки ЕМ є диференційованість обох аргументів нижньої межі функції.

— Jim.Z
джерело