Переведення проблеми машинного навчання в регресійну систему

Припустимо, у мене є панель пояснювальних змінних , для , , а також вектор змінних залежних від бінарних результатів . Тож спостерігається лише в кінцевий час а не в будь-який раніше час. Повністю загальний випадок полягає в тому, щоб мати кілька для для кожної одиниці в кожен момент часу , але для короткості зупинимося на випадку . $X_{it}$ $i = 1 ... N$ $t = 1 ... T$ $Y_{iT}$ $Y$ $T$ $X_{ijt}$ $j=1...K$ $i$ $t$ $K=1$

Застосування таких "незбалансованих" пар з часовими корельованими пояснювальними змінними є, наприклад, (щоденні ціни на акції, квартальні дивіденди), (щоденні звіти про погоду, щорічні урагани) або (особливості шахової позиції після кожного ходу, результат виграшу / втрати при кожному кінець гри). $(X, Y)$

Я зацікавлений в (можливо нелінійному) коефіцієнтах регресії для виконання передбачення про , знаючи , що в навчальних даних, враховуючи ранні спостереження для , то це призводить до підсумкового $\beta_t$ $Y_{it}$ $X_{it}$ $t < T$ $Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Виходячи з економетрики, я не бачив регресійного моделювання, застосованого до таких даних. OTOH, я бачив такі методи машинного навчання, які застосовуються до таких даних:

здійснення контрольованого навчання для всього набору даних, наприклад мінімізація

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

просто екстраполюючи / вводячи спостережуване у всі попередні моменти часу $Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Це відчуває себе "неправильно", оскільки не враховуватиме часову кореляцію між різними моментами.

робити підкріплення навчання , як тимчасова різниця з параметром навчання та параметром знижки , і рекурсивно вирішувати для шляхом зворотного розповсюдження, починаючи з $\alpha$ $\lambda$ $\beta_t$ $t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

з градієнт щодо . $\nabla_{\beta} \hat{Y}$ $f()$ $\beta$

Це здається більш "правильним", оскільки воно враховує тимчасову структуру, але параметри і є своєрідними "ad hoc". $\alpha$ $\lambda$

Запитання : Чи є література про те, як відобразити вищезазначені контрольовані / підкріплюючі методи навчання в регресійну систему, що використовується в класичній статистиці / економетриці? Зокрема, я хотів би мати можливість оцінити параметри за "один раз" (тобто для всіх одночасно), виконавши (нелінійні) найменші квадрати або максимальну ймовірність. на таких моделях, як $\beta_{t}$ $t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

Мені також було б цікаво дізнатись, чи можна відновити часові різниці мета-параметрів та формулюванням максимальної ймовірності. $\alpha$ $\lambda$

regression machine-learning reinforcement-learning

— TemplateRex
джерело

Не могли б ви уточнити формулювання в третьому абзаці? Ви пишете, що хочете передбачити від , , але наступна формула говорить про те, що ви хочете передбачити .

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

t < T

$t < T$

Y_{i t}

$Y_{it}$

— NRH

@NRH насправді я спостерігаю лише , але те, що я бачив у літературі щодо контрольованого навчання, - це те, що вони привласнюють незабачений рівним а потім роблять пристосування, щоб насправді пояснити це підроблений від (це робиться в ігрових програмах, де функція оцінювання для кожної позиції підходить під кінцевий результат гри). Вибачте, якщо це було незрозуміло з моєї початкової рецептури. У будь-якому випадку, буде прогнозованим "результатом" (в ігрових програмах) з урахуванням спостережуваних подій .

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

X_{i t}

$X_{it}$

— TemplateRex

Я розумію налаштування і те, що ви спостерігаєте, але ваша формулювання у питанні незрозуміло. Ви хочете підготувати модель для прогнозування коли ви пишете словами, чи ви хочете навчити модель прогнозування для всіх як підказують формули? Можливо, це просто помилка. Коли ви пишете «... пророкування про ...» ви маєте в виду «... пророкування про ...»?

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

t

$t$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

— NRH

не ясно, чому ти хочеш це робити. Якщо ви можете пояснити фактичне практичне застосування, ви можете отримати більш чіткі відповіді. Загалом, найкращим прогнозом для кожного періоду часу буде просто регресія на доступних даних окремо для кожного t. Не очевидно, що одночасний підхід має якусь користь. Я думаю, ви повинні вказати статистичну модель для вашого набору даних, і тоді, можливо, переваги будуть зрозумілішими.

Y_{T}

$Y_T$

X_{1}, \dots, X_{t}

$X_1,\dots,X_t$

— seanv507

@NRH, так, я хочу передбачити від знаючи, що це призводить до результату у навчальних даних, щоб вжити оптимальних дій для тестових даних, де я також спостерігаю але ще не спостерігали результату. Оновлять мою рецептуру.

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

— TemplateRex

Відповіді:

Опис проблеми для мене не зовсім зрозумілий, тому я намагаюся вгадати деякі припущення. Якщо це не відповідає на ваше запитання, це може хоча б допомогти уточнити проблеми.

Перше, що мені не зрозуміло - це дані, на яких ви хочете базувати свій прогноз. Якщо ви хочете спрогнозувати на основі спостережуваних даних до то рекурсивний підхід, як у вашому методі 2. не має сенсу, оскільки для цього використовуються майбутні дані, тобто з . $Y_T$ $t<T$ $X_\tau$ $\tau>t$

По-друге, ви не вказуєте, якими будуть властивості прогнозованого . Взагалі, з урахуванням інформації у часі умовне очікування є „найкращим прогноктором” у сенсі L2. Якщо ви дійсно хочете передбачити умовне очікування звичайних найменших квадратів, це метод вибору для практичної оцінки. $Y_t$ $X_1,\ldots, X_t$ $t<T$ $Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$ $Y_T$

Крім того, я не розумію, що ваше зауваження щодо кореляцій не відображається регресією на основі . Це включає все, що ви знаєте, доки включати кореляції між вашими спостереженнями. $X_1, \ldots, X_t$ $t$

Отже, підбиваючи підсумки та формулюючи це як відповідь: Якщо ви хочете зробити оптимальне передбачення у сенсі L2, ґрунтуючись лише на даних, що спостерігаються до ви можете використовувати регресію найменших квадратів. $t<T$

— рр
джерело

в навчальних даних, я хочу використовувати той факт , що дане

спостереження буде статистично привести до підсумкового

для прогнозування

для даних випробувань , де я не спостерігаю

до згодом. Якщо, наприклад, ви знаєте, що після 3 вітряних днів у 7 день буде ймовірний дощ, ви хочете скористатися цією інформацією, щоб сказати людям принести парасольки після вихідних після кількох вітряних днів до цього.

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

Y_{i T}

$Y_{iT}$

— TemplateRex

Перевага тимчасових відмінностей полягає в тому, що вони дозволяють вчитися з неповних епізодів. Отже, послідовності, де ви не потрапили до фіналу Y, все одно можна використовувати для підгонки до моделі; наступні оцінки використовуються замість цього. Ефект схожий на приховану імпутацію даних; Ви неявно ви набираєте залишок послідовності відповідно до вашої поточної моделі.
Моделі часової різниці, як правило, навчаються стохастичним градієнтом . контролює швидкість навчання. Занадто висока, і метод буде розходитися. Занадто низький рівень і зближення до локального оптимуму буде дуже повільним. Але конвергенція завжди повинна бути однаковою моделлю. Тут $\alpha$
$\gamma$ контролює відносне зусилля, приділене прогнозам, залежно від того, наскільки вони далекі від кінця послідовності. Оскільки ці послідовності мають кінцеву довжину, ви можете встановити це на , щоб надати однакову вагу для всіх оцінок. $\gamma=1$

— nsweeney
джерело

Це насправді не відповідає на питання: наприклад, як можна оптимально встановити параметри

в рамках максимальної ймовірності?

α

$\alpha$

γ

$\gamma$

— TemplateRex

контролює швидкість конвергенції, але не повинен впливати на остаточну модель або ймовірність цієї моделі. На практиці я встановлюю це методом проб і помилок. Вам слід встановити

оскільки він контролює відносну важливість короткотермінових та довгострокових прогнозів, якщо однакові параметри використовуються для коротких і довгих прогнозів. Це буде залежно від програми, залежно від того, що ви хочете зробити з прогнозами.

α

$\alpha$

γ

$\gamma$

— nsweeney