Запитання з тегом «regularization»

Я хотів би отримати коефіцієнти для проблеми LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема полягає в тому, що функції glmnet та lars дають різні відповіді. Для функції glmnet я запитую коефіцієнтизамість просто , але я все одно отримую різні відповіді.λλ / | | Y| …

13 r  machine-learning  regression  lasso  regularization 

Які плюси та мінуси використання LARS [1] проти використання координатного спуску для встановлення L1-регульованої лінійної регресії? Мене в основному цікавлять аспекти ефективності (мої проблеми мають, як правило, Nсотні тисяч і p<20). Однак, будь-які інші дані також будуть оцінені. редагувати: Оскільки я розмістив запитання, chl люб'язно вказав на статтю [2] Friedman …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я прочитав те, що груповий ласо використовується для вибору змінних і обмеженості в групі змінних. Я хочу знати інтуїцію, що стоїть за цим твердженням. Чому груповий ласо віддається перевагу ласо? Чому шлях розв’язання групового ласо не є кусочно лінійним?

13 regression  feature-selection  lasso  regularization 

Мені хотілося б порівняти вибрані моделі з хребтом, ласо і еластичною сіткою. На рис. Нижче показані коефіцієнти шляхів з використанням усіх 3-х методів: конь (рис. А, альфа = 0), ласо (фіг. В; альфа = 1) і еластична сітка (фіг С; альфа = 0,5). Оптимальне рішення залежить від обраного значення лямбда, …

13 r  multiple-regression  modeling  regularization 

Я використовую пакет "lars" в R із наступним кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Ось зразок коду keras, який використовує його: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks  regularization  conv-neural-network  optimization 

У мене вже є уявлення про плюси і мінуси регресії хребта та LASSO. Для LASSO штрафний термін L1 дасть вектор розрідженого коефіцієнта, який можна розглядати як метод вибору функції. Однак для LASSO є деякі обмеження. Якщо функції мають високу кореляцію, LASSO вибере лише одну з них. Крім того, для проблем, …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Ці слова я все більше і більше чую, коли вивчаю машинне навчання. Насправді деякі люди виграли медаль Філдса, працюючи над закономірностями рівнянь. Отже, я думаю, що це термін, який переносить себе від статистичної фізики / математики до машинного навчання. Звичайно, кількість людей, яких я запитувала, просто не могла інтуїтивно пояснити …

12 machine-learning  self-study  terminology  regularization  definition 

Чи може хтось вказати мені в напрямку онлайн (рекурсивного) алгоритму регуляризації Тихонова (регуляризовані найменші квадрати)? У режимі офлайн я б обчислював β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY використовуючи свій оригінальний набір даних, де λλλ знайдено за допомогою n-кратної перехресної перевірки. Нове значення yyy можна передбачити для даного xxx використовуючи y=xTβ^y=xTβ^y=x^T\hat\beta . В онлайн-налаштуваннях я постійно …

12 regression  machine-learning  least-squares  regularization  online 

Я б хотів поставити це питання у двох частинах. Обидва стосуються узагальненої лінійної моделі, але перша стосується вибору моделі, а друга стосується регуляризації. Передумови: я використовую GLM (лінійні, логістичні, гамма-регресії) моделі як для прогнозування, так і для опису. Коли я маю на увазі " нормальні речі, що робиться з регресією …

12 regression  model-selection  regularization 

Чи є якісь хороші папери або книги, які стосуються використання координатного спуску для L1 (ласо) та / або регуляризації пружної сітки для задач лінійної регресії?

12 regression  references  lasso  regularization  elastic-net 

У стисненому зондуванні існує гарантія теореми про те, що має унікальне розріджене рішення c (докладнішу інформацію див. У додатку).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Чи існує аналогічна теорема для лассо? Якщо є така теорема, вона не тільки гарантує стабільність ласо, але …

12 regression  self-study  feature-selection  lasso  regularization 

Я шукаю літературу про негативну регресію хребта . Коротше кажучи, це узагальнення лінійної регресії з використанням коника негативний λλ\lambda у формулі β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Позитивний випадок має хорошу теорію: як функція втрат, як обмеження, як Байєс до ... але я відчуваю втрату від негативної …

12 regression  regularization  ridge-regression 

Я зараз вивчаю LASSO (найменш абсолютний оператор усадки та відбору). Я бачу, що оптимальне значення параметра регуляризації можна вибрати шляхом перехресної перевірки. Я бачу також у регресії хребта та багатьох методах, які застосовують регуляризацію, ми можемо використовувати CV для того, щоб знайти оптимальний параметр регуляризації (кажучи, штраф). Тепер моє запитання …

12 lasso  regularization  shrinkage 

Для запобігання перевитрати людей люди додають термін регуляризації (пропорційний площі суми параметрів моделі) з параметром регуляризації до функції витрат лінійної регресії. Чи цей параметр збігається з множником лагранжу? Тож чи регуляризація така ж, як метод множника лагранжу? Або як пов’язані ці методи? λλ\lambdaλλ\lambda

12 regression  optimization  regularization