Запитання з тегом «lasso»

Які плюси та мінуси використання LARS [1] проти використання координатного спуску для встановлення L1-регульованої лінійної регресії? Мене в основному цікавлять аспекти ефективності (мої проблеми мають, як правило, Nсотні тисяч і p<20). Однак, будь-які інші дані також будуть оцінені. редагувати: Оскільки я розмістив запитання, chl люб'язно вказав на статтю [2] Friedman …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я прочитав те, що груповий ласо використовується для вибору змінних і обмеженості в групі змінних. Я хочу знати інтуїцію, що стоїть за цим твердженням. Чому груповий ласо віддається перевагу ласо? Чому шлях розв’язання групового ласо не є кусочно лінійним?

13 regression  feature-selection  lasso  regularization 

Я шукаю якісь відкриті джерела чи наявну бібліотеку, яку можу використовувати. Наскільки я кажу, пакет glmnet не дуже легко розширюється, щоб охопити негативний випадок. Я можу помилятися, будь-хто з будь-якими ідеями високо оцінений. Під негативним я маю на увазі, що всі коефіцієнти обмежені позитивними (> 0).

13 r  lasso 

Я використовую пакет "lars" в R із наступним кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

У мене вже є уявлення про плюси і мінуси регресії хребта та LASSO. Для LASSO штрафний термін L1 дасть вектор розрідженого коефіцієнта, який можна розглядати як метод вибору функції. Однак для LASSO є деякі обмеження. Якщо функції мають високу кореляцію, LASSO вибере лише одну з них. Крім того, для проблем, …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Zou та ін. "Про" ступені свободи "ласо" (2007) показують, що кількість ненульових коефіцієнтів є неупередженою і послідовною оцінкою ступенів свободи ласо. Мені це здається трохи протизаконним. Припустимо, ми маємо регресійну модель (де значення змінних дорівнюють нулю) у= βx + ε .y=βx+ε.y=\beta x + \varepsilon. Припустимо, необмежена оцінка OLS становить . …

12 regression  lasso  degrees-of-freedom  shrinkage 

Я намагаюся зрозуміти, як алгоритм Ларса можна модифікувати для генерації Лассо. Поки я розумію LARS, я не в змозі побачити модифікацію Лассо з статті Tibshirani et al. Зокрема, я не бачу, чому умова знаку в тому, що знак ненульової координати має відповідати знаку поточної кореляції. Може хтось, будь ласка, допоможе …

12 lasso 

Чи є якісь хороші папери або книги, які стосуються використання координатного спуску для L1 (ласо) та / або регуляризації пружної сітки для задач лінійної регресії?

12 regression  references  lasso  regularization  elastic-net 

Я підганяю L1-регульовану лінійну регресію до дуже великого набору даних (з n >> p.) Змінні відомі заздалегідь, але спостереження надходять невеликими шматками. Я хотів би підтримувати придатність ласо після кожного шматка. Я, очевидно, можу перевстановити всю модель, побачивши кожен новий набір спостережень. Однак це було б досить неефективно, враховуючи, що …

12 regression  lasso 

Я запрограмував логістичну регресію за допомогою алгоритму IRLS . Я хотів би застосувати санкцію LASSO для автоматичного вибору потрібних функцій. При кожній ітерації вирішується наступне: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Нехай - невід'ємне дійсне число. Я не караю перехоплення, як пропонується в "Елементах". Статистичне навчання . Дітто для вже нульових коефіцієнтів. В іншому …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Відповідно до посилань Книга 1 , Книга 2 та папір . Було зазначено, що існує рівнозначність між регульованою регресією (Ridge, LASSO та Elastic Net) та їх формулами обмеження. Я також переглянув Cross Valified 1 та Cross Validated 2 , але я не можу побачити чітку відповідь, що свідчить про еквівалентність …

12 regression  optimization  lasso  ridge-regression  elastic-net 

Я читав у кількох місцях, що R Squared не є ідеальним показником, коли модель підходить за допомогою LASSO. Однак мені не ясно, чому саме так. Крім того, ви могли б порекомендувати найкращу альтернативу?

12 regression  lasso  r-squared  penalized 

У стисненому зондуванні існує гарантія теореми про те, що має унікальне розріджене рішення c (докладнішу інформацію див. У додатку).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Чи існує аналогічна теорема для лассо? Якщо є така теорема, вона не тільки гарантує стабільність ласо, але …

12 regression  self-study  feature-selection  lasso  regularization 

Зараз я працюю над створенням прогнозної моделі для двійкового результату на наборі даних із ~ 300 змінними та 800 спостереженнями. Я багато читав на цьому сайті про проблеми, пов’язані з поетапною регресією, а чому б не використовувати її. Я читав про регресію LASSO та її здатність до вибору особливостей і …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Я зараз вивчаю LASSO (найменш абсолютний оператор усадки та відбору). Я бачу, що оптимальне значення параметра регуляризації можна вибрати шляхом перехресної перевірки. Я бачу також у регресії хребта та багатьох методах, які застосовують регуляризацію, ми можемо використовувати CV для того, щоб знайти оптимальний параметр регуляризації (кажучи, штраф). Тепер моє запитання …

12 lasso  regularization  shrinkage