Запитання з тегом «lasso»

Скажімо, я хочу оцінити велику кількість параметрів, і я хочу штрафувати деякі з них, тому що я вважаю, що вони повинні мати незначний ефект у порівнянні з іншими. Як вирішити, яку схему штрафу використовувати? Коли регресія хребта більш доречна? Коли я повинен використовувати ласо?

167 regression  lasso  ridge-regression 

Я читаю книги про лінійну регресію. Про норми L1 та L2 є кілька речень. Я їх знаю, просто не розумію, чому норма L1 для розріджених моделей. Чи може хтось використати дати просте пояснення?

97 regression  lasso  regularization  ridge-regression 

За яких обставин слід розглянути можливість використання методів регуляризації (регрес хребта, ласо або найменший кут) замість OLS? Якщо це допомагає керувати дискусією, головним моїм інтересом є підвищення точності прогнозування.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Я шукаю нетехнічне визначення ласо і для чого він використовується.

81 regression  lasso  regularization  shrinkage 

Я починаю балуватися з використанням glmnetз LASSO регресією , де мій результат становить інтерес дихотомический. Я створив невеликий макетний кадр даних нижче: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Я читав Елементи статистичного навчання , і хотів би знати, чому Лассо забезпечує змінний вибір, а регрес хребта не робить. Обидва способи мінімізують залишкову суму квадратів і обмежують можливі значення параметрів . Для Лассо обмеження є , тоді як для хребта це , для деякого .ββ\beta||β||1≤t||β||1≤t||\beta||_1 \le t||β||2≤t||β||2≤t||\beta||_2 \le tttt …

76 regression  feature-selection  lasso  regularization 

Сезон відпусток дав мені змогу згорнутися біля вогню з елементами статистичного навчання . Виходячи з (частої) перспективи економетрики, у мене виникають проблеми з розумінням використання методів усадки, таких як регресія хребта, ласо і найменший кут регресії (ЛАР). Як правило, мене цікавлять оцінки самих параметрів та досягнення неупередженості або принаймні узгодженості. …

61 lasso  ridge-regression  shrinkage  lars 

Я намагаюся використовувати модель LASSO для прогнозування, і мені потрібно оцінити стандартні помилки. Напевно, хтось уже написав пакет для цього. Але наскільки я бачу, жоден з пакетів CRAN, які роблять прогнози за допомогою LASSO, не поверне стандартні помилки для цих прогнозів. Отже, моє питання: Чи є пакет або якийсь код …

60 r  standard-error  prediction  lasso 

З того, що мені відомо, використання ласо для змінного вибору вирішує проблему корельованих входів. Крім того, оскільки він еквівалентний регресії з найменшим кутом, він обчислюється не повільно. Однак багато людей (наприклад, люди, яких я знаю, що займаються біостатистикою) все ще, здається, віддають перевагу поетапному або поетапному змінному вибору. Чи є …

60 regression  feature-selection  lasso 

Для вирішення проблем вибору моделі ряд методів (LASSO, регресія хребта тощо) зменшить коефіцієнти змінних прогнозів до нуля. Я шукаю інтуїтивне пояснення, чому це покращує здатність прогнозування. Якщо справжній ефект змінної насправді був дуже великим, чому не зменшення параметра призводить до гіршого прогнозу?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Для проблеми з ласо таким, що \ | \ beta \ | _1 \ leq t . Я часто бачу результат м'якого порогу \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | | …

52 lasso 

Я хотів би знайти предиктори для безперервної залежної змінної з набору 30 незалежних змінних. Я використовую регресію Лассо, як реалізовано в пакеті glmnet в Р. Ось кілька фіктивних кодів: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to …

40 r  multiple-regression  lasso  glmnet  communication 

Вибачте, якщо це питання стикається з невеликим принципом. Я хочу використовувати вибір змінної LASSO для множинної лінійної регресійної моделі в Р. У мене є 15 предикторів, один з яких є категоричним (це спричинить проблему?). Після встановлення і я використовую такі команди:ухxxуyy model = lars(x, y) coef(model) Моя проблема, коли я …

39 feature-selection  lasso  glmnet  lars 

Регресія з найменшим кутом і ласо мають тенденцію до отримання дуже схожих контурів регуляризації (однакові за винятком випадків, коли коефіцієнт перетинає нуль.) Вони обидва можуть ефективно підходити за допомогою практично однакових алгоритмів. Чи є коли-небудь практичні причини віддати перевагу одному методу перед іншим?

39 regression  lasso 

На сторінці 223 у вступі до статистичного навчання автори узагальнюють відмінності між регресією хребта та ласо. Вони наводять приклад (рис. 6.9) того, коли "ласо має тенденцію перевершити регресію хребта в плані зміщення, дисперсії та MSE". Я розумію, чому ласо може бути бажаним: це призводить до рідкісних рішень, оскільки він зменшує …

37 machine-learning  prediction  lasso  regularization  ridge-regression