Запитання з тегом «lasso»

Мені просто цікаво, чому зазвичай є лише регуляризація норм L1L1L_1 і L2L2L_2 . Чи є докази того, чому це краще?

36 lasso  regularization  ridge-regression 

Я хочу використовувати регресію Лассо або хребта для моделі з більш ніж 50 000 змінних. Я хочу зробити це за допомогою програмного пакету в Р. Як я можу оцінити параметр усадки ( )?λλ\lambda Зміни: Ось цей момент я вирішив: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, …

36 r  lasso  ridge-regression  high-dimensional 

Чи завжди переважна регуляризація еластичної сітки перед Lasso & Ridge, оскільки, здається, вирішує недоліки цих методів? Що таке інтуїція та яка математика за еластичною сіткою?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Я програмний інженер, який навчається машинному навчанню, зокрема, через курси машинного навчання Ендрю Нґ . Під час вивчення лінійної регресії з регуляризацією я виявив терміни, які заплутані: Регресія з L1 регуляризацією або L2 регуляризацією ЛАССО Регресія хребта Тож мої запитання: Чи регресія з регуляризацією L1 точно така ж, як і …

33 regression  terminology  lasso  regularization  ridge-regression 

Як порівнюють методи регуляризації конькових, лазерних та еластичних мереж? Які їхні переваги та недоліки? Буде також вдячний будь-який хороший технічний документ або конспекти лекцій.

33 references  lasso  regularization  ridge-regression  elastic-net 

Чи можна обчислити значення AIC або BIC для регресійних моделей ласо та інших регульованих моделей, де параметри лише частково вводяться в рівняння. Як можна визначити ступеня свободи? Я використовую R для підключення регресійних моделей ласо з glmnet()функцією з glmnetпакету, і я хотів би знати, як обчислити значення AIC та BIC …

31 r  model-selection  lasso  aic  bic 

Примітка. Я знаю, що L1 має властивість вибору функцій. Я намагаюся зрозуміти, яку вибрати, коли вибір функції абсолютно не має значення. Як вирішити, яку регуляризацію (L1 або L2) використовувати? Які плюси і мінуси кожної регуляризації L1 / L2? Чи рекомендується 1-й зробити вибір функції за допомогою L1 і потім застосувати …

30 regression  lasso  regularization  ridge-regression 

Для LASSO (та інших процедур вибору моделі) дуже важливо змінити масштаби прогнозів. Загальна рекомендація я дотримуюся просто використовувати 0, 1 середнє стандартне відхилення нормалізації для безперервних змінних. Але що тут робити з манекенами? Наприклад, кілька прикладних прикладів тієї ж (чудової) літньої школи, яку я пов’язував із перерахунком змінних безперервних змінних, …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Я використовую функцію auto.arima () у пакеті прогнозів, щоб підходити до моделей ARMAX з різними коваріатами. Однак мені часто доводиться вибирати велику кількість змінних і, як правило, закінчують остаточну модель, яка працює з їх підмножиною. Мені не подобаються спеціальні методи для вибору змінних, тому що я людина і підданий упередженості, …

29 r  time-series  lasso  regularization  elastic-net 

Проблема з ласою має рішення закритої форми: \ beta_j ^ {\ текст {lasso}} = \ mathrm {sgn} (\ beta ^ {\ текст {LS}} _ j) (| \ beta_j ^ {\ текст {LS }} | - \ alpha) ^ + якщо X має ортонормальні стовпці. Це було показано в цій темі: …

28 regression  lasso  regularization 

Я прочитав три основні причини стандартизації змінних перед чимось таким, як Lassoрегресія: 1) Інтерпретабельність коефіцієнтів. 2) Можливість ранжувати значення коефіцієнта за відносною величиною оцінок коефіцієнта після усадки. 3) Не потрібно перехоплення. Але мені цікаво найголовніше. Чи є у нас підстави думати, що стандартизація поліпшила б узагальнення вибірки моделі? Також мені …

28 normalization  lasso  standardization  regularization  shrinkage 

Коли я використовую GAM, це дає мені залишковий коефіцієнт DF (останній рядок у коді). Що це означає? Виходячи за приклад GAM, загалом, чи може число ступенів свободи бути нецілим числом?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Я читав у ряді посилань, що оцінка Лассо для вектора параметра регресії ББB еквівалентна задньому режиму ББB в якому попередній розподіл для кожного БiБiB_i є подвійним експоненціальним розподілом (також відомим як розподіл Лапласа). Я намагався це довести, чи може хтось деталізувати деталі?

27 regression  bayesian  lasso  prior  regularization 

Я один раз почув метод використання ласо двічі (як подвійне ласо), коли ви виконуєте ласо на початковому наборі змінних, скажімо, S1, отримуєте розріджений набір під назвою S2, а потім знову виконуєте ласо на множині S2 для отримання множини S3 . Чи є для цього методологічний термін? Також, які переваги робити …

26 regression  lasso  regularization  shrinkage  lars 

Для регресії Лассо припустимо, найкраще рішення (наприклад, мінімальна помилка тестування) вибирає функції, так що \ hat {\ beta} ^ {lasso} = \ ліворуч (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ праворуч) …

26 regression  feature-selection  lasso  regularization