Запитання з тегом «lasso»

Регресія LASSO зменшує коефіцієнти до нуля, забезпечуючи ефективний вибір моделі. Я вважаю, що в моїх даних є змістовні взаємодії між номінальними та безперервними коваріатами. Однак, не обов'язково, що "основні наслідки" справжньої моделі є змістовними (не нульовими). Звичайно, я цього не знаю, оскільки справжня модель невідома. Мої цілі - знайти справжню …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Для програми lasso доступні різні програми для впровадження . Я знаю, що багато обговорювалося про байєсівський підхід і частолістський підхід на різних форумах. Моє запитання дуже специфічне для лассо - Які відмінності чи переваги баснійського ласо проти звичайного ласо ? Ось два приклади реалізації в пакеті: # just example data …

24 r  machine-learning  linear-model  lasso 

Тож мені було задано питання, за якими центральними заходами L1 (тобто ласо) та L2 (тобто регресія хребта) оцінювали. Відповідь L1 = середня, а L2 = середня. Чи існує якийсь тип інтуїтивного міркування на це? Або це потрібно визначати алгебраїчно? Якщо так, то як мені це робити?

24 lasso  regularization  loss-functions  ridge-regression 

Деякі штрафні функції та наближення добре вивчені, такі як LASSO ( L1L1L_1 ) та Хребет ( L2L2L_2 ), і як вони порівнюються в регресії. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Веньцзян [ 1 ] порівнював Бридж-штраф, коли з LASSO, але я не зміг знайти порівняння з регуляризацією Еластичної мережі, комбінацією …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Я хочу краще зрозуміти пакети R Larsі Glmnet, які використовуються для вирішення задачі Лассо: (проpзмінні таNзразків, див.www.stanford.edu/~hastie/Papers/glmnet.pdfна сторінці 3)м я н( β0β) ∈ Rр + 1[ 12 Н∑i = 1N( уi- β0- хТiβ)2+ λ | | β| |л1]мiн(β0β)∈Rp+1[12N∑i=1N(уi-β0-хiТβ)2+λ||β||л1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]pppNNN Тому я застосував їх …

22 r  regression  machine-learning  lasso  regularization 

Я проводжу невеликий експеримент з регресією LASSO в R, щоб перевірити, чи зможе він знайти ідеальну пару передбачувачів. Пара визначається так: f1 + f2 = результат Результатом цього є заздалегідь визначений вектор, який називається "вік". F1 і f2 створюються, беручи половину вікового вектора і встановлюючи решта значень 0, наприклад: age …

20 r  regression  feature-selection  lasso  high-dimensional 

Ми всі знайомі з ідеєю, добре зафіксованою в літературі, що оптимізація LASSO (заради простоти обмежує увагу тут випадком лінійної регресії) еквівалентно лінійній моделі з гауссовими помилками, в яких параметри задаються Laplace prior \ exp (- \ lambda \ | \ beta \ | _1) Ми також усвідомлюємо, що вища встановлює …

20 lasso  laplace-distribution 

У мене є одне питання щодо необхідності використання методів вибору функцій (значення випадкових лісів, значення важливості функції або методи вибору функцій Univariate тощо) перед запуском алгоритму статистичного навчання. Ми знаємо, щоб уникнути перевитрати, ми можемо ввести штраф за регуляризацію вагових векторів. Отже, якщо я хочу зробити лінійну регресію, то я …

20 regression  machine-learning  feature-selection  lasso  regularization 

L1 пеналізована регресія (aka lasso) представлена ​​у двох складах. Нехай обидві цілі функції Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Тоді два різних рецептури - argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 умови ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, і, що еквівалентно argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. Використовуючи умови …

20 regression  lasso  penalized 

Я використовую пакет R штрафується отримати зморщені оцінки коефіцієнтів для набору даних , де у мене є багато провісників і мало знань, які з них мають важливе значення. Після того, як я вибрав параметри настройки L1 і L2, і я задоволений своїми коефіцієнтами, чи є статистично обгрунтований спосіб узагальнити підхід …

20 regression  lasso  stepwise-regression  ridge-regression 

Нещодавно я виявив, що в літературі з прикладної економетрики, коли вирішуються проблеми вибору особливостей, не рідкість виконувати LASSO з наступною регресією OLS з використанням вибраних змінних. Мені було цікаво, як можна визначити обгрунтованість такої процедури. Чи це спричинить неприємності, такі як опущені змінні? Будь-які докази, що показують, що це ефективніше, …

20 regression  feature-selection  econometrics  least-squares  lasso 

Далі наводиться графік glmnet з альфа-замовчуванням (1, отже, і ласо), використовуючи mtcarsнабір даних у R mpgяк DV та інші як змінні прогнозувальника. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Що можна зробити з цього сюжету стосовно різних змінних, особливо am, cylта wt(червоних, чорних та світло-синіх ліній)? Як би ми сформулювали висновок у звіті, який публікується? …

19 regression  feature-selection  lasso  glmnet 

Мене дуже цікавить процедура еластичної сітки для усадки / відбору прогнозів. Це здається дуже потужним. Але з наукової точки зору я не знаю добре, що робити, коли отримав коефіцієнти. На яке питання я відповідаю? Це ті змінні, які найбільше впливають на цей результат, і це коефіцієнти, які дають найкраще співвідношення …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Покрокові алгоритмічні методи вибору змінних мають тенденцію вибирати для моделей, які зміщують більш-менш кожну оцінку в регресійних моделях ( s та їх SE, p -значення, F- статистика тощо), і приблизно так само ймовірно виключають справжні прогнози, як включають помилкові прогнози відповідно до досить зрілої імітаційної літератури.ββ\beta Чи страждає LASSO тими …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Питання про те, що зробити висновок із цього сюжету ласо (glmnet), демонструє шляхи рішення для оцінювача ласо, які не є монотонними. Тобто, деякі коефіцієнти ростуть в абсолютній вартості, перш ніж вони скорочуються. Я застосовував ці моделі до декількох різних типів наборів даних і ніколи не бачив такої поведінки "в дикій …

18 lasso  ridge-regression  elastic-net