Що таке "цільове максимальне очікування ймовірності"?

Я намагаюся зрозуміти деякі статті Марка ван дер Лаана. Він теоретичний статистик в Берклі, який працює над проблемами, які суттєво перегукуються з машинним навчанням. Одна з проблем для мене (крім глибокої математики) полягає в тому, що він часто закінчує опис звичних підходів до машинного навчання, використовуючи зовсім іншу термінологію. Одне з його головних понять - «Цільова максимальна ймовірність очікування».

TMLE використовується для аналізу цензурованих даних спостережень з некерованого експерименту таким чином, що дозволяє оцінити ефект навіть за наявності заплутаних факторів. Я сильно підозрюю, що багато одних і тих же понять існують під іншими іменами в інших галузях, але я ще не розумію його досить добре, щоб відповідати йому прямо ні до чого.

Спроба усунути прогалину до "Аналіз обчислювальних даних" тут:

Входження в епоху наукових даних: цільове навчання та інтеграція статистики та обчислювальний аналіз даних

І вступ для статистиків тут:

Причинно-наслідкові умовиводи, орієнтовані на максимальну ймовірність: частина I

З другого:

У цій статті ми розробляємо конкретний цільовий максимальний показник ймовірності причинних наслідків багаторазових втручань. Це передбачає використання супернавчання на основі втрат, щоб отримати початкову оцінку невідомих факторів формули G-обчислень, а згодом, застосувати оптимальну функцію коливання, орієнтовану на цільовий параметр (найменш сприятливу параметричну підмодель), до кожного оціненого коефіцієнта, оцінка параметрів (-ів) коливання з максимальною оцінкою ймовірності та повторення цього етапу оновлення початкового коефіцієнта до конвергенції. Цей ітеративний цільовий максимальний ймовірний етап оновлення робить результуючу оцінку причинного ефекту подвійною стійкою в тому сенсі, що вона є послідовною, якщо або початковий оцінювач є послідовним, або оцінювач оптимальної флуктуаційної функції є послідовним. Оптимальна флуктуаційна функція задана правильно, якщо умовно розподілені вузли в причинному графіку, на який втручається один, правильно вказані.

У його термінології "супернавчання" - це ансамблеве навчання за теоретично обгрунтованою схемою негативного зважування. Але що він має на увазі під „застосуванням оптимальної флуктуаційної функції, орієнтованої на цільовий параметр (найменш сприятливий параметричний підмодель) до кожного оціненого коефіцієнта”.

Або, розбиваючи його на три різні питання, чи має TMLE паралель у машинному навчанні, що таке "найменш сприятливий параметричний підмодель" та що таке "функція коливання" в інших сферах?

— Натан Курц
джерело

Однією з причин, з якою термінологія може бути незнайомою, є те, що мета TMLE полягає в оцінці середнього ефекту від лікування - причинного висновку, а не прогнозування. Коли я читав "супер учня" у статтях на TMLE, я думав, що автори запозичили цей термін із пакету SuperLearner на R для побудови моделей ансамблю.

— RobertF

Я погоджуюся, що ван дер Лаан має тенденцію вигадувати нові імена для вже існуючих ідей (наприклад, суперучень), але TMLE не є однією з них, наскільки я знаю. Це насправді дуже розумна ідея, і я нічого не бачив у спільноті Machine Learning, що виглядає подібним (хоча я, можливо, просто необізнаний). Ідеї виходять із теорії напівпараметричних ефективних оціночних рівнянь, що, на мою думку, статистики думають набагато більше, ніж люди з ML.

$P_0$ $\Psi(P_0)$

\sum_{i} φ (Y_{i} ∣ θ) = 0,

$\sum_i \varphi(Y_i \mid \theta) = 0,$

$\theta = \theta(P)$ $P$ $\Psi$ $\varphi$ $E_{P} \varphi(Y \mid \theta) = 0$ $\theta$ $P_0$ $\Psi(P_0)$ (Зауважте: я трохи розслабляюся з терміном "ефективний", оскільки я лише описую евристичний.) Теорія, що стоїть за такими оцінними рівняннями, є досить елегантною, тому що ця книга є канонічною посиланням. Тут можна знайти стандартні визначення "найменш сприятливих підмоделей"; це не терміни, придумані ван дер Лааном.

$P_0$ $P_0$ $\Psi(P_0)$ $P_0$ $\hat P$ $\Psi(\hat P)$ $\sqrt n$ $P_0$ $\Psi$

$\hat p$ , а потім розгляне нову модель , як це:

{\hat{p}}_{1, ϵ} = \frac{\hat{p} \exp (ϵ φ (Y ∣ θ))}{\int \hat{p} \exp (ϵ φ (y ∣ θ)) d y}

$\hat p_{1, \epsilon} = \frac{\hat p \exp(\epsilon \ \varphi(Y \mid \theta))}{\int \hat p \exp(\epsilon \ \varphi(y \mid \theta)) \ dy}$

$\epsilon$ $\epsilon$ $\epsilon = 0$ $\hat p$ $\Psi$ $\epsilon \ne 0$ $\hat p_1$ $\hat p$

{\hat{p}}_{2, ϵ} \propto {\hat{p}}_{1, \hat{ϵ}} досвід (ϵ φ (Y ∣ θ) .

$\hat p_{2, \epsilon} \propto \hat p_{1, \hat \epsilon} \exp(\epsilon \ \varphi(Y \mid \theta).$

і так далі, поки ми не отримаємо щось у межах, що задовольняє ефективне рівняння оцінки.

— хлопець
джерело

"Я погоджуюсь, що ван дер Лаан має тенденцію вигадувати нові імена для вже існуючих ідей" - Так, дивіться це вступ до TMLE: biostats.bepress.com/ucbbiostat/paper252 , де ван дер Лаан використовує "випадкову грубість ", щоб означати обмінність та "припущення експериментального лікування (ЗНО)" означають позитивність :-) Це не страшно незвично в нашій галузі. Вчені використовують такі терміни, як відкликання, точність та тестування A / B, які я навчився як тестування чутливості, позитивного прогнозування та перевірки гіпотез у коледжі.

— RobertF

@RobertF CAR належить до Heitjan та Rubin і є узагальненням MAR. Рубін винайшов MAR та також популяризував рамки потенційних результатів, тому використання CAR як привабливого для припущень щодо непридатності / обмінності мені здається справедливим.

— хлопець