Чи можна навчати модель P (Y | X) за допомогою стохастичного градієнтного спуску з неіідних зразків P (X) та iid зразків P (Y

Під час тренування параметризованої моделі (наприклад, для збільшення максимальної вірогідності) за допомогою стохастичного градієнтного спуску на деякому наборі даних зазвичай прийнято вважати, що навчальні зразки витягуються внаслідок розподілу навчальних даних. Отже, якщо мета - моделювати спільний розподіл , то кожний навчальний зразок повинен бути виведений у тому ж розподілі. $P(X,Y)$ $(x_i,y_i)$

Якщо метою є замість моделювання умовного розподілу , то як змінюється вимога iid, якщо він взагалі? $P(Y|X)$

Повинен ми все-таки взяти кожен зразок iid із спільного розподілу? $(x_i,y_i)$
Чи повинні ми намалювати iid з , а потім намалювати iid з ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$
Чи можемо ми намалювати не iid з (наприклад, корельованого за часом), а потім намалювати iid з ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$

Чи можете ви прокоментувати справедливість цих трьох підходів для стохастичного градієнтного спуску? (Або допоможіть мені переформулювати питання, якщо це необхідно.)

Я хотів би зробити №3, якщо можливо. Моя програма полягає у навчанні підкріплення, де я використовую параметризовану умовну модель як політику управління. Послідовність станів є дуже корельованою, але дії є вибірковою, наприклад, із стохастичної політики, обумовленої станом. Отримані зразки $x_i$ $y_i$ $(x_i,y_i)$ (або їх підмножина) використовуються для навчання політики. (Іншими словами, уявіть собі, що тривалий час керуєте політикою управління в певному середовищі, збираючи набір даних зразків стану / дії. Тоді, хоча стани з часом корелюються, дії генеруються незалежно, залежно від стану.) Це дещо схоже на ситуацію в цій статті .

Я знайшов документ, Рябко, 2006 р., " Розпізнавання візерунків для умовно незалежних даних ", який спочатку здавався релевантним; однак там ситуація повернена до того, що мені потрібно, де (мітка / категорія / дія) можна намалювати не iid від , а $y_i$ $P(Y)$ $x_i$ (об'єкт / шаблон / стан) намальовано iid від . $P(X|Y)$

Оновлення: два документи ( тут і тут ), згадані в статті Рябко, здаються актуальними тут. Вони припускають, що походить від довільного процесу (наприклад, не iid, можливо, нестаціонарний). Вони показують, що в цьому випадку послідовні оцінки найближчого сусіда та ядра. Але мене більше цікавить, чи справедлива оцінка на основі стохастичного градієнтного спуску в цій ситуації. $x_i$

— Тайлер Стрітер
джерело

Може бути , я що - то НЕ вистачає, і я не читав газету, але: ви малюєте

НЕ-IID з

, а потім вибірки

IID з

. Ryabko (2006) малює

non -id з

а потім відбирає вибірку

iid з

. Вони здаються однаковими до перейменування. Чи є щось принципово інше в об'єктах

x_{i}

$x_i$

P (X)

$P(X)$

y_{i}

$y_i$

P (Y ∣ X)

$P(Y \mid X)$

y_{i}

$y_i$

P (Y)

$P(Y)$

x_{i}

$x_i$

P (X ∣ Y)

$P(X \mid Y)$

x

$x$

y

$y$ це робить це не однаковою ситуацією?

— Дугал

X

$X$

Y

$Y$

P (Y | X)

$P(Y|X)$

P (X | Y)

$P(X|Y)$

Y_{i}

$Y_i$

X_{i}

$X_i$

Y_{i} = f (X_{i}; θ)

$Y_i = f(X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$ , що є залишковим, є IID (отже, стаціонарним і некорельованим), тоді процедура оцінки конвергується без упереджень. В основному обробка часових рядів у часовому порядку або будь-який рандомізований порядок не має значення в процедурі MLE до тих пір, поки умовна ймовірність правильно вказана, а залишки - IID.

— Cagdas Ozgenc

Я думаю, ви могли б зробити або 2, або 3. Однак проблема з 3 полягає в тому, що в дозволі довільних розподілів для X ви включаєте розподіли, які мали б всю або майже всю зосереджену вірогідність - невеликий інтервал у x-просторі. Це зашкодить загальній оцінці P (Y | X), оскільки у вас буде мало або відсутні дані для певних значень X.

— Майкл Р. Черник
джерело

Так ви кажете, що з підходом №3 я отримав би неупереджений результат з потенційно високою дисперсією?

— Тайлер Стрітер

_{1}

$_1$

_{1}

$_1$

Так, це має сенс, що дисперсія могла бути великою. Я думаю, що моя головна стурбованість полягає в тому, чи буде передбачуваний P (Y | X) упереджений.

— Тайлер Стрітер

Ми не обговорювали бальну оцінку. Якщо у вас є неупереджені оцінки для P (X), P (Y) і P (X | Y) і підключіть їх до формули P (Y | X) = P (X | Y) P (Y) / P (X) ви отримаєте необ’єктивну оцінку.

— Майкл Р. Черник

Я повинен підкреслити, що я говорю про оцінку P (Y | X) за допомогою стохастичного градієнтного спуску, і в такому випадку порядок навчальних зразків може впливати на швидкість чи наближення до правильної моделі. Я не просто використовую вибіркові середні показники, де порядок зразків не має значення.

— Тайлер Стрітер

Чи можна навчати модель P (Y | X) за допомогою стохастичного градієнтного спуску з неіідних зразків P (X) та iid зразків P (Y | X)?