Як виконати імпутацію значень у дуже великій кількості точок даних?

У мене дуже великий набір даних, і близько 5% випадкових значень відсутні. Ці змінні співвідносяться між собою. Наступний приклад набору даних R - це лише іграшковий приклад з манекено-корельованими даними.

set.seed(123)

# matrix of X variable 
xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000)
colnames(xmat) <- paste ("M", 1:10000, sep ="")
rownames(xmat) <- paste("sample", 1:200, sep = "")
#M variables are correlated 

N <- 2000000*0.05 # 5% random missing values 
inds <- round ( runif(N, 1, length(xmat)) )
xmat[inds] <- NA 
> xmat[1:10,1:10]
         M1 M2 M3 M4 M5 M6 M7 M8 M9 M10
sample1  -1 -1  1 NA  0 -1  1 -1  0  -1
sample2   1  1 -1  1  0  0  1 -1 -1   1
sample3   0  0  1 -1 -1 -1  0 -1 -1  -1
sample4   1  0  0 -1 -1  1  1  0  1   1
sample5  NA  0  0 -1 -1  1  0 NA  1  NA
sample6  -1  1  0  1  1  0  1  1 -1  -1
sample7  NA  0  1 -1  0  1 -1  0  1  NA
sample8   1 -1 -1  1  0 -1 -1  1 -1   0
sample9   0 -1  0 -1  1 -1  1 NA  0   1
sample10  0 -1  1  0  1  0  0  1 NA   0

Чи існує (найкращий) спосіб вписати пропущені значення в цій ситуації? Чи корисний алгоритм Random Forest? Будь-яке робоче рішення в R буде дуже вдячним.

Зміни:

(1) Пропущені значення випадковим чином розподілені серед змінних і samples.As числа змінних є дуже великим (тут в прикладі - 10000), в той час як число вибірок мало тут , в наведеному вище прикладі фіктивної вона становить близько 200. Тому , коли ми дивимось будь-яку вибірку за всіма змінними (10000), є велика ймовірність того, що у якоїсь змінної буде відсутнє значення - через велику кількість змінних. Тому просто видалити зразок - це не варіант.

(2) Змінна може трактуватися як кількісною, так і якісною (бінарною) у процесі імпультування. Єдине судження - наскільки добре ми можемо це передбачити (точність). Тож прогнози на зразок 0,98 замість 1 можуть бути прийнятними, а не 0 проти 1 або -1 проти 1. Мені може знадобитися компроміс між часом обчислень та точністю.

(3) Я замислююся над питанням, як перевитрата може вплинути на результати, оскільки кількість змінних велика порівняно з кількістю вибірок.

(4) Оскільки загальна кількість пропущених значень становить близько 5% і є випадковою (не концентрується в жодних змінних чи зразках, оскільки вжито заходів обережності для видалення змінних або зразків, які мають дуже високі відсутні значення)

(5) Здійснення повних даних для аналізу є першим об'єктивним, а точність - другорядною. Тож не надто чутливі до точності.

Існує два способи вирішення великої змінної та малої вибіркової (спостережної) проблеми, залежно від вашої ситуації та даних.

(1) просто використовувати вибірки (спостереження) як змінну за умови, що бали за змінними однакові або нормалізовані.

(2) Використовуйте змінні як змінну, але робіть деяку випадкову вибірку під час імпультування, щоб числова змінна була меншою за кількість вибірок і, нарешті, дані злиття.

Далі йде тренування, яке ви можете налаштувати під свої потреби. У мене припущення, що змінна є безперервною, але ви тренуєтесь подібними для дискретних змінних. Ось я наводжу невеликий приклад для швидкої перевірки.

По-перше, для тренування, що генерує корельовані дані, тут спостереження (зразки) співвідносяться, можуть бути реалістичними в ситуаціях, коли змінні вважаються незалежними, а спостереження - співвіднесеними. Але в інших ситуаціях, коли спостереження і змінні співвідносяться.

# example correlated data, correlated by observations 
# number of observations 
nobs = 200
nvars = 100
# number of variables 
# covariance matrix matrixCR to create correlated data 
matrixCR <- matrix(NA, nrow = nobs, ncol = nobs)
diag(matrixCR) <- 1
matrixCR[upper.tri (matrixCR, diag = FALSE)] <- 0.5
matrixCR[lower.tri (matrixCR, diag = FALSE)] <- 0.5
matrixCR[1:10,1:10]
L = chol(matrixCR)# Cholesky decomposition
nvars = dim(L)[1]
set.seed(123)
rM = t(L) %*% matrix(rnorm(nvars*nobs), nrow=nvars, ncol=nobs)
rownames(rM) <- paste("V", 1:nvars, sep = "") 
colnames(rM) <- paste("O", 1:nobs, sep = "")
rM[1:10,1:10]



# introduce missing values in random places 
N <- round(nobs*nvars*0.05,0) # 5% random missing values 
set.seed(123)
inds <- round ( runif(N, 1, length(rM)) )
rM1 <- rM
rM1[inds] <- NA

Я використовую missForestпакет для імпутації, який залежить від randomForestпакету для цього. Ви можете робити паралельні обчислення, якщо у вас є дуже велика кількість точок передачі даних.

# now use the rM1 matrix in imputation. 
require(missForest)
out.m <- missForest(rM1, maxiter = 10, ntree = 300)
# imputed 
imp.rM1 <- out.m$ximp

Оскільки це модельований набір даних, ми маємо розкіш оцінювати точність імпутації, порівнюючи оригінали до пропущених значень, введених із імпутованими.

# actual values that were made missing 
aval <- rM[inds]
impv <- imp.rM1[inds]

# accuracy - defined as correlation between actual (before na introduction) and imputed values 
cor(aval,impv)
[1] 0.6759404

Можна підвищити точність. Удачі !

Існує повна книга внесення даних, тому важко дати відповідь у цій рамці.

Найпростіше в цьому випадку вибрати один із стовпців ( ) і зібрати інший у матриці .$y$$x$

Навчається модель , і відсутні значення замінюються значеннями, передбаченими нашою моделлю. Ваші дані здаються категоричними, тому випадковий ліс може стати хорошим вибором.$y=f(x)$

Якщо ваш набір даних дуже великий, використовуйте швидкий алгоритм або масштабований.

Це справді цікаве питання. Я теж шукаю те саме. Насправді існує багато різних способів впоратися з цим.

Першим ділом, на мою думку, буде визначити, який тип пропущених даних у вас є - цілком відсутні випадковим чином (MCAR), відсутні випадково (MAR) або відсутні без випадкових ознак (NMAR). Це важко і суперечливо довести, але цей документ показує цікавий спосіб перегляду даних MAR.

Для роботи з багаторазовою імпутацією R має кілька пакетів:

• MICE (що здається дуже використаним),
• randomForest,
• Hmisc
• Amelia
• mi

Це лише декілька пакунків, які я знайшов поки що.

MICE також реалізований випадковий ліс та кілька інших методів, таких як середнє передбачуване узгодження.

Це не так багато, але може допомогти вам з’ясувати деякі речі. Щойно я отримаю результати або вирішу, з яким методом я буду діяти, я відредагую публікацію.

Удачі!

Цікаве запитання. Хитрість у цьому полягає в тому, що для того, щоб зробити багаторазову імпутацію, вам потрібно більше, ніж просто прогностична модель (яку можна / було б легко отримати, скажімо, підходом до машинного навчання). Ми будемо називати ці моделі моделюючими моделями, оскільки вони не зовсім вірогідні моделі.

Комбінований аспект вибору особливостей (великий ) та навчання імітаційної моделі змушує мене думати, що байєсівський підхід є найкращим. Це також означає, що до цього немає чіткого підходу. Для мене найкращим підходом був би такий підхід:$p$

1. Визначте всі моделі відсутності
2. Для кожного шаблону використовуйте байєсівський підбір вибору ознак, щоб призначити задню вагу для завершення випадків у даних.
3. Випадково вибірково завершуйте випадкові випадки для генерування повних кадрів даних.

Ваша проблема, здається, підлаштована під якесь завершення матриці низького рангу. Спробуйте скористатися impute.svd()функцією з bcvпакета . Я б запропонував використовувати невеликий ранг (аргумент k) - щось на зразок 5.