Запитання з тегом «ridge-regression»

Припустимо, у мене є два оцінювачі та які є послідовними оцінками того самого параметра і такими, що з в сенсі psd. Таким чином, асимптотика є більш ефективною, ніж . Ці два оцінювачі засновані на різних функціях втрат.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 Тепер …

11 regression  ridge-regression  shrinkage  penalized 

Я застосував деякі дані, щоб знайти найкраще рішення змінних моделі регресії за допомогою регресії хребта в Р. Я використовував lm.ridgeі glmnet(коли alpha=0), але результати дуже відрізняються, особливо коли lambda=0. Припускається, що обидва оцінки параметрів мають однакові значення. Отже, у чому тут проблема? з найкращими побажаннями

11 r  regression  ridge-regression  glmnet 

Прочитавши розділ 3 в Елементах статистичного навчання (Хасті, Тібшрани та Фрідман), я задумався, чи можна реалізувати відомі методи усадки, які цитуються у назві цього питання, з урахуванням структури коваріації, тобто мінімізувати (можливо, більш загальне ) кількість ( у⃗ - Xβ⃗ )ТV- 1( у⃗ - Xβ⃗ ) + λ f( β) …

11 lasso  ridge-regression 

Нехай A - матриця незалежних змінних, а B - відповідна матриця залежних значень. У коника регресії, визначимо параметр так , що: . Тепер нехай [usv] = svd (A) і діагональний запис 's'. визначимо ступені свободи (df) = . Регресія хребта зменшує коефіцієнти низькодисперсних компонентів, а отже параметр контролює ступеня свободи. …

11 ridge-regression 

Я знаю, що є загальноприйнятою практикою стандартизувати особливості регресії хребта та ласо, однак, чи було б колись практичніше нормалізувати функції за шкалою (0,1) як альтернативу стандартизації z-балів для цих методів регресії?

11 normalization  lasso  standardization  ridge-regression 

Регресія хребта може бути виражена як де - передбачувана мітка , в визначити матрицю, об'єкт , який ми намагаємося знайти мітку, і \ mathbf {X} п \ d раз матрицю п об'єктів \ mathbf { x} _i = (x_ {i, 1}, ..., x_ {i, d}) \ в \ mathbb {R} …

11 regression  ridge-regression  kernel-trick 

У кількох відповідях я бачив, що користувачі CrossValided пропонують ОП знайти перші документи про Lasso, Ridge та Elastic Net. Що стосується нащадків, які семінарні роботи про Лассо, Рідж та Еластичну Мережу?

10 references  lasso  regularization  ridge-regression  elastic-net 

Я читав опис регресії хребта у прикладних лінійних статистичних моделях , розділ 5. Ед. 11. Регресія хребта виконується за наявними тут даними жирових речовин . Підручник відповідає результату в SAS, де зворотні перетворені коефіцієнти наведені в пристосованій моделі як: Y=−7.3978+0.5553X1+0.3681X2−0.1917X3Y=−7.3978+0.5553X1+0.3681X2−0.1917X3 Y=-7.3978+0.5553X_1+0.3681X_2-0.1917X_3 Це показано в SAS як: proc reg data = …

10 r  sas  ridge-regression 

Як виконати негативну регресію хребта? Негативне ласо доступне в scikit-learn, але для хребта я не можу застосувати бенегативність бета, і я дійсно отримую негативні коефіцієнти. Хтось знає, чому це? Крім того, чи можу я реалізувати хребет з точки зору регулярних найменших квадратів? Перенесли це на інше запитання: чи можна реалізувати …

10 regression  lasso  regularization  ridge-regression 

Я розумію, що ми можемо використовувати регуляризацію в регресії як мінімум квадратів w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] і що ця проблема має рішення закритої форми як: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Ми бачимо, що у другому рівнянні регуляризація просто додає λλ\lambda до діагоналі XTXXTX\boldsymbol{X}^T\boldsymbol{X} , що робиться для …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Я працюю над перехресною валідацією прогнозування моїх даних з 200 предметами та 1000 змінними. Мене цікавить регресія хребта, оскільки кількість змінних (я хочу використовувати) більша, ніж кількість вибірки. Тому я хочу використовувати оцінювачі усадки. Наступні складені приклади даних: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for …

9 r  cross-validation  prediction  ridge-regression 

Я працюю над моделлю прогнозних витрат, де вік пацієнта (ціла кількість, виміряна в роках) є однією із змінних прогнозів. Очевидна сильна нелінійна залежність між віком та ризиком перебування у лікарні: Я розглядаю санкціоновану сплайсинг згладжування регресії для віку пацієнта. Згідно з елементами статистичного навчання (Hastie et al, 2009, с.151), оптимальне …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Коли , проблема найменших квадратів, яка накладає сферичне обмеження на значення може бути записана як ім'я для завищеної системи. \ | \ cdot \ | _2 - евклідова норма вектора.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Я новачок у регресії хребта. Коли я застосував лінійну регресію хребта, я отримав такі результати: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at …

9 ridge-regression