Запитання з тегом «elastic-net»

Чи завжди переважна регуляризація еластичної сітки перед Lasso & Ridge, оскільки, здається, вирішує недоліки цих методів? Що таке інтуїція та яка математика за еластичною сіткою?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Як порівнюють методи регуляризації конькових, лазерних та еластичних мереж? Які їхні переваги та недоліки? Буде також вдячний будь-який хороший технічний документ або конспекти лекцій.

33 references  lasso  regularization  ridge-regression  elastic-net 

Я хотів би використовувати GLM та Elastic Net для вибору відповідних функцій + побудувати лінійну регресійну модель (тобто як прогнозування, так і розуміння, тому краще було б залишитись із відносно малою кількістю параметрів). Вихід безперервний. Це генів на 50 випадків. Я читав про пакет, але не впевнений на 100% в …

29 r  regularization  glmnet  elastic-net  underdetermined 

Я використовую функцію auto.arima () у пакеті прогнозів, щоб підходити до моделей ARMAX з різними коваріатами. Однак мені часто доводиться вибирати велику кількість змінних і, як правило, закінчують остаточну модель, яка працює з їх підмножиною. Мені не подобаються спеціальні методи для вибору змінних, тому що я людина і підданий упередженості, …

29 r  time-series  lasso  regularization  elastic-net 

β *=(1+λ2) β .L = 1н∥∥у- Xβ∥∥2+ λ1∥ β∥1+ λ2∥ β∥22,L=1н‖у-Хβ‖2+λ1‖β‖1+λ2‖β‖22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Однак наступні glmnetстатті Фрідмана, Хасті та Тибширані (2010) Шляхи регуляризації для узагальнених лінійних моделей за допомогою координатного спуску не …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Я розумію, яку роль відіграє лямбда в регресії еластичної сітки. І я можу зрозуміти, чому можна було б вибрати lambda.min, значення лямбда, що мінімізує перехресну перевірку помилок. Моє запитання: Де в статистичній літературі рекомендується використовувати lambda.1se, це значення лямбда, що мінімізує помилку CV та одну стандартну помилку ? Я не …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Деякі штрафні функції та наближення добре вивчені, такі як LASSO ( L1L1L_1 ) та Хребет ( L2L2L_2 ), і як вони порівнюються в регресії. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Веньцзян [ 1 ] порівнював Бридж-штраф, коли з LASSO, але я не зміг знайти порівняння з регуляризацією Еластичної мережі, комбінацією …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Вступ: У мене є набір даних із класичною "великою р, малою російською проблемою". Кількість доступних вибірок n = 150, тоді як кількість можливих предикторів p = 400. Результатом є суцільна змінна. Я хочу знайти найважливіші дескриптори, тобто ті, які є найкращими кандидатами для пояснення результату та допомоги в побудові теорії. …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Я здійснюю еластичну чисту логістичну регресію на наборі даних охорони здоров’я, використовуючи glmnetпакет в R, вибираючи значення лямбда по сітці від 0 до 1. Мій скорочений код нижче:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} яка виводить середню перехресну …

22 machine-learning  cross-validation  glmnet  elastic-net 

Мене дуже цікавить процедура еластичної сітки для усадки / відбору прогнозів. Це здається дуже потужним. Але з наукової точки зору я не знаю добре, що робити, коли отримав коефіцієнти. На яке питання я відповідаю? Це ті змінні, які найбільше впливають на цей результат, і це коефіцієнти, які дають найкраще співвідношення …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Питання про те, що зробити висновок із цього сюжету ласо (glmnet), демонструє шляхи рішення для оцінювача ласо, які не є монотонними. Тобто, деякі коефіцієнти ростуть в абсолютній вартості, перш ніж вони скорочуються. Я застосовував ці моделі до декількох різних типів наборів даних і ніколи не бачив такої поведінки "в дикій …

18 lasso  ridge-regression  elastic-net 

Я знаю про переваги регуляризації при побудові прогнозних моделей (зміщення проти дисперсійності, запобігання надмірного розміщення). Але мені цікаво, чи гарна ідея також робити регуляризацію (ласо, хребет, еластична сітка), коли основною метою регресійної моделі є висновок про коефіцієнти (бачити, які прогноктори є статистично значущими). Я хотів би почути думки людей, а …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Добре відомо, що лінійна регресія з покаранням еквівалентна знаходженню оцінки ПДЧ, заданої Гауссовим попереднім коефіцієнтом. Аналогічно, використання штрафу l 1 еквівалентно використанню розподілу Лапласа як попереднього.л2л2l^2л1л1l^1 Не рідкість використання деякої зваженої комбінації регуляризації та l 2 . Чи можемо ми сказати, що це еквівалентно деякому попередньому розподілу коефіцієнтів (інтуїтивно, здається, …

17 regression  bayesian  regularization  prior  elastic-net 

Я намагаюся визначити найкращу модель для прогнозування цін на автомобілі, використовуючи ціни та можливості, доступні на сайтах рекламних оголошень для автомобілів. Для цього я використав пару моделей з бібліотеки scikit-learn та моделей нейронної мережі з пібраїну та нейролаб. Я використовував поки що підхід - це запустити фіксовану кількість даних через …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

У мене є набір з 150 функцій, і багато з них сильно співвідносяться між собою. Моя мета - передбачити значення дискретної змінної, діапазон якої становить 1-8 . Розмір мого зразка - 550 , і я використовую 10-кратну перехресну перевірку. AFAIK серед методів регуляризації (Lasso, ElasticNet і Ridge), Ridge більш жорсткий …

17 regression  lasso  regularization  ridge-regression  elastic-net