Варіативність у результатах cv.glmnet

Я використовую cv.glmnetдля пошуку прогнозів. Я використовую наступну настройку:

lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold)
bestlambda<-lassoResults$lambda.min

results<-predict(lassoResults,s=bestlambda,type="coefficients")

choicePred<-rownames(results)[which(results !=0)]

Щоб переконатися, що результати відтворюються я set.seed(1). Результати дуже різняться. Я запустив такий самий код 100, щоб побачити, наскільки результативні. У 98/100 запусках завжди був обраний один конкретний предиктор (іноді просто самостійно); були вибрані інші предиктори (коефіцієнт корисної дії був не нульовим), як правило, 50/100 разів.

Отже, мені кажуть, що кожного разу, коли перехресне підтвердження буде запущене, він, ймовірно, вибере іншу найкращу лямбда, тому що початкова рандомізація складок має значення. Інші бачили цю проблему ( результати CV.glmnet ), але запропонованого рішення не існує.

Я думаю, що, можливо, той, що відображає 98/100, напевно, дуже корелює з усіма іншими? Результати цього стабілізуватися , якщо я просто запустити LOOCV ( ), але мені цікаво , чому вони так змінної при nfold < п .$\text{fold-size} = n$$\text{nfold} < n$

Суть у тому, що в cv.glmnetK складки ("частини") вибираються випадковим чином.

У перехресній валідації K-складки набір даних розділений на частини, а K - 1 частини використовуються для прогнозування K-ї частини (це робиться K разів, використовуючи іншу K- частину кожен раз). Це робиться для всіх лямбда, і саме той, що дає найменшу помилку перехресної перевірки.$K$$K-1$$K$$K$lambda.min

Ось чому, коли ви використовуєте результати не змінюються: кожна група складається з однієї, тому для K груп немає великого вибору .$nfolds = n$$K$

З cv.glmnet()довідкового посібника:

Зауважимо також, що результати cv.glmnet є випадковими, оскільки складки вибираються навмання. Користувачі можуть зменшити цю випадковість, запустивши cv.glmnet багато разів і усереднюючи криві помилок.

### cycle for doing 100 cross validations
### and take the average of the mean error curves
### initialize vector for final data.frame with Mean Standard Errors
MSEs <- NULL
for (i in 1:100){
                 cv <- cv.glmnet(y, x, alpha=alpha, nfolds=k)  
                 MSEs <- cbind(MSEs, cv$cvm)
             }
  rownames(MSEs) <- cv$lambda
  lambda.min <- as.numeric(names(which.min(rowMeans(MSEs))))

MSE - це кадр даних, що містить усі помилки для всіх лямбда (для 100 запусків), lambda.minце ваша лямбда з мінімальною середньою помилкою.

Останнім часом я зіткнувся з тією ж проблемою. Я багато разів намагався повторити резюме, наприклад, 100, 200, 1000 у своєму наборі даних, намагаючись знайти найкраще$\lambda$$\alpha$$\alpha$$\lambda$$\alpha$

$\alpha$$\lambda$

Потім для кожного прогноктора я отримую:

• середній коефіцієнт
• стандартне відхилення
• Підсумок 5 чисел (медіана, квартилі, хв і макс)
• відсоток разів відрізняється від нуля (тобто має вплив)

Таким чином я отримую досить ґрунтовний опис ефекту провісника. Після розподілу коефіцієнтів ви зможете запустити будь-які статистичні дані, які, на вашу думку, варто отримати значення CI, p, тощо ..., але я цього ще не досліджував.

Цей метод можна використовувати з більш-менш будь-яким методом відбору, про який я можу придумати.

Я додам ще одне рішення, яке обробляє помилку в @ Alice's через відсутні лямбда, але не потребує додаткових пакунків, як @Max Ghenis. Дякуємо за всі інші відповіді - кожен робить корисні моменти!

lambdas = NULL
for (i in 1:n)
{
    fit <- cv.glmnet(xs,ys)
    errors = data.frame(fit$lambda,fit$cvm)
    lambdas <- rbind(lambdas,errors)
}
# take mean cvm for each lambda
lambdas <- aggregate(lambdas[, 2], list(lambdas$fit.lambda), mean)

# select the best one
bestindex = which(lambdas[2]==min(lambdas[2]))
bestlambda = lambdas[bestindex,1]

# and now run glmnet once more with it
fit <- glmnet(xy,ys,lambda=bestlambda)

Відповідь Аліси працює в більшості випадків добре, але іноді виникає помилка через те, що cv.glmnet$lambdaіноді повертаються результати різної довжини, наприклад:

Помилка в найменуваннях рядків <- (tmp, значення = c (0.135739830284452, 0.12368107787663,: довжина 'dimnames' [1] не дорівнює кількості масиву).

OptimLambdaнижче слід працювати в загальному випадку, а також швидше за рахунок використання mclapplyпаралельної обробки та уникнення циклів.

Lambdas <- function(...) {
  cv <- cv.glmnet(...)
  return(data.table(cvm=cv$cvm, lambda=cv$lambda))
}

OptimLambda <- function(k, ...) {
  # Returns optimal lambda for glmnet.
  #
  # Args:
  #   k: # times to loop through cv.glmnet.
  #   ...: Other args passed to cv.glmnet.
  #
  # Returns:
  #   Lambda associated with minimum average CV error over runs.
  #
  # Example:
  #   OptimLambda(k=100, y=y, x=x, alpha=alpha, nfolds=k)
  #
  require(parallel)
  require(data.table)
  MSEs <- data.table(rbind.fill(mclapply(seq(k), function(dummy) Lambdas(...))))
  return(MSEs[, list(mean.cvm=mean(cvm)), lambda][order(mean.cvm)][1]$lambda)
}

Ви можете керувати випадковістю, якщо явно встановити кратну кількість. Ось приклад для 5-кратного резюме

library(caret)
set.seed(284)
flds <- createFolds(responseDiffs, k = cvfold, list = TRUE, returnTrain = FALSE)
foldids = rep(1,length(responseDiffs))
foldids[flds$Fold2] = 2
foldids[flds$Fold3] = 3
foldids[flds$Fold4] = 4
foldids[flds$Fold5] = 5

Тепер запустіть cv.glmnet з цими складками.

lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,foldid = foldids)

Ви будете отримувати однакові результати кожного разу.