Як обробити неіснуючі (не пропущені) дані?

11

Я ніколи не знаходив жодного хорошого тексту чи прикладів, як обробляти "неіснуючі" дані для входів до будь-якого класифікатора. Я багато читав про відсутні дані, але що можна зробити щодо даних, які не можуть або не існують стосовно багатовимірних входів. Я розумію, що це дуже складне запитання і буде змінюватися залежно від використовуваних методів навчання ...

Наприклад, якщо ви намагаєтеся передбачити пробіг для декількох бігунів з хорошими точними даними. Серед багатьох входів можливими змінними серед багатьох є:

Змінна введення - Бігун першого разу (Y / N)
Змінна введення - попередній час (0 - 500 секунд)
Змінна введення - вік
Вхідна змінна - висота. . . багато інших змінних вводу тощо

& Висновок прогнозування - прогнозований час (0 - 500 секунд)

'Відсутня змінна' для '2.Предокладний проміжок часу' може бути обчислена кількома способами, але '1. Бігун першого разу 'завжди дорівнював би N. Але для 'НЕ ІСНУЮЧИХ ДАНИХ' для вперше бігуна (де '1. Бігун першого разу' = Y) яке значення / лікування слід дати '2. Попередній час »?

Наприклад, призначення '2. Попередній час 'як -99 або 0 може різко перекрити розподіл і зробити його схожим на те, що новий бігун пройшов добре.

Мої сучасні методи навчання використовували логістичну регресію, SVM, NN та рішення рішень

missing-data

— осн
джерело

Варто додати, що я відкидав нових бігунів як від даних про тренування, так і для прогнозування через властиву їм невизначеності, але буду вдячний за кращі методи, ніж "Ігнорувати"

— osknows

6

Замість того, щоб присвоїти спеціальне значення для неіснуючого попереднього часу бігуна першого кола, просто використовуйте термін взаємодії за попередній час на колінах із зворотним манекеном бігуна першого разу:

Y_{i} = β_{0} + β_{1} Ж Т R_{i} + β_{2} (N Ж Т R_{i}) \times П L Т_{i} + . . .

$Y_i=\beta_0+\beta_1 FTR_i+\beta_2 (NFTR_i)\times PLT_i+...$

тут

$Y_i$
$...$
$FTR_i$
$PLT_i$
$NFTR_i$ $FTR_i=0$

Тоді модель для перших бігунів буде:

Y_{i} = (β_{0} + β_{1}) + . . .

$Y_i=(\beta_0+\beta_1) + ...$

і для не вперше бігунів:

Y_{i} = β_{0} + β_{2} П L Т_{i} + . . .

$Y_i=\beta_0+ \beta_2 PLT_i + ...$

— mpiktas
джерело

8

Для логістичної регресії, що відповідає максимальній вірогідності, якщо у вас є як (1), так і (2) в моделі, то незалежно від значення "за замовчуванням", яке ви даєте новим бігунам для (2), оцінка для (1) буде відповідно коригуватися.

$X_1$ $X_2$

$\eta = \alpha + \beta_1 X_1 + \beta_2 X_2 + \ldots$

$X_2$

$\eta = \alpha + \beta_1 + \ldots$

тоді як для існуючого бігуна це буде:

$\eta = \alpha + \beta_2 X_2 + \ldots$

$X_2$

$\eta = \alpha + \beta'_1 - 99 \beta_2 + \ldots$

$\beta'_1 - 99 \beta_2 = \beta_1$

Звичайно, якщо ви не використовуєте максимальну ймовірність (тобто ви використовуєте якусь штрафну санкцію або попередньо за параметрами), ви отримаєте різні значення, якщо не відрегулювати пені / попередньо відповідно. І якщо модель нелінійна (наприклад, SVM, NN & Рішення), цей аргумент взагалі не працює.

— Саймон Берн
джерело