Запитання з тегом «lasso»

Я новачок у glmnetпакеті, і досі не знаю, як інтерпретувати результати. Може хто-небудь, будь ласка, допоможе мені прочитати наступний сюжетний сюжет? Графік отримували, виконавши наступне: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", label=TRUE) plot(model$glmnet.fit, "lambda", …

15 r  data-visualization  interpretation  lasso  glmnet 

Мене цікавить, чому методи вибору моделі LASSO та LARS настільки популярні, хоча вони в основному є лише варіаціями поетапного вибору вперед (і, отже, страждають від залежності від шляху)? Аналогічно, чому загальновиробничі (GETS) методи вибору моделі здебільшого ігноруються, хоча вони й краще, ніж LARS / LASSO, оскільки вони не страждають від …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Я читав найпопулярніші книги в статистичному навчанні 1- Елементи статистичного навчання. 2- Вступ до статистичного навчання . Обидва згадують, що регресія хребта має дві формули, рівнозначні. Чи є зрозумілий математичний доказ цього результату? Я також пройшов Cross Valified , але я не можу знайти певного доказу там. Крім того, буде …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Чи існують які - небудь результати аналізів або експериментальні роботи в відношенні оптимального вибору коефіцієнта терміну симуляції. Під оптимальним розумію параметр, який максимально збільшує ймовірність вибору найкращої моделі або мінімізує очікувані втрати. Я запитую, оскільки часто недоцільно обирати параметр шляхом перехресної перевірки або завантажувальної програми, або через велику кількість випадків …

15 model-selection  lasso  shrinkage 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 3 роки тому . Я будую логістичну регресію в R за допомогою методу LASSO з функціями cv.glmnetвибору lambdaі glmnetдля кінцевої моделі. Я вже знаю всі недоліки …

15 r  logistic  categorical-data  lasso  glmnet 

Визначте оцінку ласо де i ^ {th} рядок x_i \ в \ mathbb {R} ^ p проектної матриці X \ in \ mathbb {R} ^ {n \ times p} - вектор коваріатів для пояснення стохастичної відповіді y_i (для i = 1, \ крапки n ).β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} …

14 lasso  regularization 

Я хотів би створити випадковий ліс, використовуючи наступний процес: Побудуйте дерево на випадкових вибірках даних і особливостей, використовуючи посилення інформації для визначення розбиття Припиніть вузол листя, якщо він перевищує заздалегідь задану глибину АБО будь-який розкол призведе до того, що кількість листків буде меншою за попередньо визначений мінімум Замість того, щоб …

14 classification  random-forest  lasso  ensemble 

Моє загальне розуміння - AIC стосується компромісу між хорошою придатністю моделі та складністю моделі. А яС= 2 k - 2 l n ( L )AIC=2k−2ln(L)AIC =2k -2ln(L) кkk = кількість параметрів у моделі LLL = ймовірність Байєсівський інформаційний критерій BIC тісно пов'язаний з AIC. AIC карає кількість параметрів менш сильно, …

14 cross-validation  lasso  aic  ridge-regression  bic 

Яка асимптотична часова складність регресії Лассо в міру збільшення кількості рядків або стовпців?

14 lasso  time-complexity 

Існує декілька математично важких паперів, які описують байєсівський Лассо, але я хочу перевірити правильний код JAGS, який я можу використовувати. Чи може хтось розмістити зразок коду BUGS / JAGS, який реалізує регульовану логістичну регресію? Будь-яка схема (L1, L2, Elasticnet) була б чудовою, але віддає перевагу Лассо. Мені також цікаво, чи …

14 bayesian  logistic  lasso  jags  regularization 

Я читаю про найкращий вибір підмножини в книзі «Елементи статистичної книги». Якщо у мене є 3 предиктори , я створюю підмножини:2 3 = 8х1, х2, х3x1,x2,x3x_1,x_2,x_323= 823=82^3=8 Підмножина без прогнозів підмножина з предикторомх1x1x_1 підмножина з предикторомх2x2x_2 підмножина з предикторомх3x3x_3 підмножина з предикторамих1, х2x1,x2x_1,x_2 підмножина з предикторамих1, х3x1,x3x_1,x_3 підмножина з предикторамих2, …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} ім'я У нас проблема: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), з припущенням, що: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Чи є в цьому випадку рішення закритої форми? Я маю це: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), і тому я думаю, що відповідь: : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, для yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , але я не впевнений.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Одним із мотивів еластичної сітки було таке обмеження LASSO: У випадку ласо вибирає не більше n змінних, перш ніж воно насичується, через характер проблеми опуклої оптимізації. Це, здається, є обмежувальною особливістю для способу вибору змінних. Більше того, ласо не є чітко визначеним, якщо обмежена на L1-норма коефіцієнтів менша за певне …

13 regression  optimization  feature-selection  lasso 

Таблиця 18.1 в елементах статистичного навчання підсумовує ефективність декількох класифікаторів на наборі даних 14 класу. Я порівнюю новий алгоритм з мережею та еластичною сіткою для таких задач класифікації багатокласових. Використовуючи glmnetверсію 1.5.3 (R 2.13.0), я не в змозі відтворити точку 7. ( -окреслений мультином) в таблиці, де кількість використаних генів …

13 classification  lasso  glmnet 

Я хотів би отримати коефіцієнти для проблеми LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема полягає в тому, що функції glmnet та lars дають різні відповіді. Для функції glmnet я запитую коефіцієнтизамість просто , але я все одно отримую різні відповіді.λλ / | | Y| …

13 r  machine-learning  regression  lasso  regularization