Запитання з тегом «regularization»

Мені просто цікаво, чому зазвичай є лише регуляризація норм L1L1L_1 і L2L2L_2 . Чи є докази того, чому це краще?

36 lasso  regularization  ridge-regression 

Я намагаюся підходити до багатоваріантної лінійної регресійної моделі з приблизно 60 змінними предиктора та 30 спостереженнями, тому я використовую пакет glmnet для регульованої регресії, оскільки p> n. Я переглядав документацію та інші питання, але все ще не можу інтерпретувати результати, ось зразок коду (з 20 прогнозовами та 10 спостереженнями для …

36 r  regression  regularization  glmnet 

Чи завжди переважна регуляризація еластичної сітки перед Lasso & Ridge, оскільки, здається, вирішує недоліки цих методів? Що таке інтуїція та яка математика за еластичною сіткою?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Я думаю, що чим більший коефіцієнт змінної, тим більше здатність моделі до того, щоб «розгойдуватися» в цьому вимірі, забезпечуючи збільшену можливість підключення шуму. Хоча я думаю, що у мене є розумний сенс взаємозв'язку між дисперсією моделі та великими коефіцієнтами, я не маю настільки хорошого розуміння того, чому вони трапляються в …

33 regression  variance  linear-model  bias  regularization 

Я програмний інженер, який навчається машинному навчанню, зокрема, через курси машинного навчання Ендрю Нґ . Під час вивчення лінійної регресії з регуляризацією я виявив терміни, які заплутані: Регресія з L1 регуляризацією або L2 регуляризацією ЛАССО Регресія хребта Тож мої запитання: Чи регресія з регуляризацією L1 точно така ж, як і …

33 regression  terminology  lasso  regularization  ridge-regression 

Тихонова регуляризація та регресія хребта - це терміни, які часто використовуються так, ніби вони ідентичні. Чи можна точно вказати, в чому різниця?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Як порівнюють методи регуляризації конькових, лазерних та еластичних мереж? Які їхні переваги та недоліки? Буде також вдячний будь-який хороший технічний документ або конспекти лекцій.

33 references  lasso  regularization  ridge-regression  elastic-net 

Чи може хтось порекомендувати гарне виклад теорії за частковою регресією найменших квадратів (доступна в Інтернеті) для тих, хто розуміє SVD та PCA? Я переглянув багато джерел в Інтернеті і не знайшов нічого, що мав би правильне поєднання суворості та доступності. Я розглянув "Елементи статистичного навчання" , що було запропоновано в …

33 regression  references  regularization  svd  partial-least-squares 

Наприклад, при регресії, наприклад, обирати два гіперпараметри - це частота функції (наприклад, найбільший показник многочлена) та величина регуляризації. Що мене бентежить, це чому просто не вибрати функцію низької ємності, а потім ігнорувати будь-яку регуляризацію? Таким чином, це не буде надмірно. Якщо у мене є функція високої ємності разом з регуляризацією, …

32 regression  machine-learning  optimization  regularization  polynomial 

Примітка. Я знаю, що L1 має властивість вибору функцій. Я намагаюся зрозуміти, яку вибрати, коли вибір функції абсолютно не має значення. Як вирішити, яку регуляризацію (L1 або L2) використовувати? Які плюси і мінуси кожної регуляризації L1 / L2? Чи рекомендується 1-й зробити вибір функції за допомогою L1 і потім застосувати …

30 regression  lasso  regularization  ridge-regression 

Я хотів би використовувати GLM та Elastic Net для вибору відповідних функцій + побудувати лінійну регресійну модель (тобто як прогнозування, так і розуміння, тому краще було б залишитись із відносно малою кількістю параметрів). Вихід безперервний. Це генів на 50 випадків. Я читав про пакет, але не впевнений на 100% в …

29 r  regularization  glmnet  elastic-net  underdetermined 

Я використовую функцію auto.arima () у пакеті прогнозів, щоб підходити до моделей ARMAX з різними коваріатами. Однак мені часто доводиться вибирати велику кількість змінних і, як правило, закінчують остаточну модель, яка працює з їх підмножиною. Мені не подобаються спеціальні методи для вибору змінних, тому що я людина і підданий упередженості, …

29 r  time-series  lasso  regularization  elastic-net 

Проблема з ласою має рішення закритої форми: \ beta_j ^ {\ текст {lasso}} = \ mathrm {sgn} (\ beta ^ {\ текст {LS}} _ j) (| \ beta_j ^ {\ текст {LS }} | - \ alpha) ^ + якщо X має ортонормальні стовпці. Це було показано в цій темі: …

28 regression  lasso  regularization 

Я прочитав три основні причини стандартизації змінних перед чимось таким, як Lassoрегресія: 1) Інтерпретабельність коефіцієнтів. 2) Можливість ранжувати значення коефіцієнта за відносною величиною оцінок коефіцієнта після усадки. 3) Не потрібно перехоплення. Але мені цікаво найголовніше. Чи є у нас підстави думати, що стандартизація поліпшила б узагальнення вибірки моделі? Також мені …

28 normalization  lasso  standardization  regularization  shrinkage 

Коли я використовую GAM, це дає мені залишковий коефіцієнт DF (останній рядок у коді). Що це означає? Виходячи за приклад GAM, загалом, чи може число ступенів свободи бути нецілим числом?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation