Запитання з тегом «ridge-regression»

Скажімо, я хочу оцінити велику кількість параметрів, і я хочу штрафувати деякі з них, тому що я вважаю, що вони повинні мати незначний ефект у порівнянні з іншими. Як вирішити, яку схему штрафу використовувати? Коли регресія хребта більш доречна? Коли я повинен використовувати ласо?

167 regression  lasso  ridge-regression 

Я читаю книги про лінійну регресію. Про норми L1 та L2 є кілька речень. Я їх знаю, просто не розумію, чому норма L1 для розріджених моделей. Чи може хтось використати дати просте пояснення?

97 regression  lasso  regularization  ridge-regression 

За яких обставин слід розглянути можливість використання методів регуляризації (регрес хребта, ласо або найменший кут) замість OLS? Якщо це допомагає керувати дискусією, головним моїм інтересом є підвищення точності прогнозування.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Оцінка коефіцієнта регресії хребта - значення, що мінімізують значенняβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Мої запитання: Якщо , ми бачимо, що вираз вище зводиться до звичайного RSS. Що робити, якщо ? Я не розумію в підручнику пояснення поведінки коефіцієнтів.λ=0λ=0\lambda = 0λ→∞λ→∞\lambda \to \infty Для того, щоб допомогти зрозуміти поняття, що …

71 ridge-regression  statistical-learning  history 

Розглянемо наступні три явища. Парадокс Штейна: з огляду на деякі дані багатовимірного нормального розподілу в , середнє значення вибірки не є дуже хорошим оцінником справжнього середнього. Оцінку можна отримати з нижньою середньою помилкою у квадраті, якщо зменшити всі координати середнього зразка у напрямку до нуля [або до їх середнього значення, …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

Сезон відпусток дав мені змогу згорнутися біля вогню з елементами статистичного навчання . Виходячи з (частої) перспективи економетрики, у мене виникають проблеми з розумінням використання методів усадки, таких як регресія хребта, ласо і найменший кут регресії (ЛАР). Як правило, мене цікавлять оцінки самих параметрів та досягнення неупередженості або принаймні узгодженості. …

61 lasso  ridge-regression  shrinkage  lars 

Я розумію, що оцінка регресії хребта - це яка мінімізує залишкову суму квадрата та штраф у розміріββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Однак я не повністю розумію значення того факту, що βridgeβridge\beta_\text{ridge} відрізняється від βOLSβOLS\beta_\text{OLS} лише додаванням невеликої константи до діагоналі X′XX′XX'X . …

59 regression  least-squares  ridge-regression  shrinkage 

Для вирішення проблем вибору моделі ряд методів (LASSO, регресія хребта тощо) зменшить коефіцієнти змінних прогнозів до нуля. Я шукаю інтуїтивне пояснення, чому це покращує здатність прогнозування. Якщо справжній ефект змінної насправді був дуже великим, чому не зменшення параметра призводить до гіршого прогнозу?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Розглянемо стару добру проблему регресії з прогнокторами та розміром вибірки . Звичайна мудрість полягає в тому, що Оцінювач OLS буде перевершувати і, як правило, перевершує оцінку гребінної регресії:Для пошуку оптимального параметра регуляризації стандартно використовувати перехресну перевірку . Тут я використовую 10-кратне резюме. Оновлення уточнення: коли , під "Оцінювачем OLS" я …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

У мене виникають деякі проблеми з виведенням рішення для регресії хребта. Я знаю рішення регресії без терміну регуляризації: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Але після додавання терміна L2 до функції витрат, яким чином стає рішеннямλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

На сторінці 223 у вступі до статистичного навчання автори узагальнюють відмінності між регресією хребта та ласо. Вони наводять приклад (рис. 6.9) того, коли "ласо має тенденцію перевершити регресію хребта в плані зміщення, дисперсії та MSE". Я розумію, чому ласо може бути бажаним: це призводить до рідкісних рішень, оскільки він зменшує …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Мені просто цікаво, чому зазвичай є лише регуляризація норм L1L1L_1 і L2L2L_2 . Чи є докази того, чому це краще?

36 lasso  regularization  ridge-regression 

При використанні перехресної перевірки для вибору моделі (наприклад, настройка гіперпараметрів) та для оцінки продуктивності найкращої моделі слід використовувати вкладену перехресну перевірку . Зовнішня петля - це оцінювати продуктивність моделі, а внутрішня - вибрати найкращу модель; модель вибирається на кожному зовнішньому тренувальному наборі (використовуючи внутрішній цикл резюме) і його продуктивність вимірюється …

36 cross-validation  model-selection  ridge-regression 

Я хочу використовувати регресію Лассо або хребта для моделі з більш ніж 50 000 змінних. Я хочу зробити це за допомогою програмного пакету в Р. Як я можу оцінити параметр усадки ( )?λλ\lambda Зміни: Ось цей момент я вирішив: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, …

36 r  lasso  ridge-regression  high-dimensional 

Чи завжди переважна регуляризація еластичної сітки перед Lasso & Ridge, оскільки, здається, вирішує недоліки цих методів? Що таке інтуїція та яка математика за еластичною сіткою?

35 regression  lasso  regularization  ridge-regression  elastic-net