Запитання з тегом «lasso»

Цей пост слідує за цим: Чому оцінка хребта стає кращою за OLS, додаючи константу до діагоналі? Ось моє запитання: Наскільки мені відомо, регуляризація хребта використовує (евклідова відстань). Але чому ми використовуємо квадрат цієї норми? (пряме застосування призведе до квадратного кореня суми бета-квадрата).ℓ 2ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 Для порівняння, ми не робимо цього для …

12 lasso  regularization  ridge-regression 

LASSO та адаптивний LASSO - це дві різні речі, правда? (Для мене покарання виглядають інакше, але я просто перевіряю, чи я щось пропускаю.) Якщо ви загалом говорите про еластичну сітку, це особливий корпус LASSO або адаптивний LASSO? Який з них виконує пакунок glmnet, якщо ви вибрали альфа = 1? Адаптивний …

12 lasso  glmnet  elastic-net  oracle 

Я використовую "glmnet" для регресії ласо в GWAS. Деякі варіанти та особи мають відсутні значення, і, здається, glmnet не може обробити пропущені значення. Чи є для цього рішення? чи є інший пакет, який може обробляти пропущені значення в регресії ласо? Ось мої сценарії. > library(glmnet) > geno6<-read.table("c6sigCnt.geno") > geno6[1:10,1:10] #genotype …

12 missing-data  lasso  glmnet 

Для мого поточного пошуку я використовую метод Лассо через пакет glmnet в R на біноміальній залежній змінній. У glmnet оптимальна лямбда знайдена за допомогою перехресної перевірки, і отримані моделі можна порівняти з різними заходами, наприклад, помилкою неправильної класифікації або відхиленням. Моє запитання: Як саме визначається відхилення в glmnet? Як він …

12 cross-validation  lasso  glmnet  deviance  lars 

Я запускаю регресійну модель як з Лассо, так і з Ріджем (для прогнозу дискретної змінної результату в межах від 0 до 5). Перш ніж запустити модель, я використовую SelectKBestметод scikit-learnзменшення набору функцій з 250 до 25 . Без початкового вибору особливостей і Лассо, і Рідж поступаються нижчим показникам точності [що …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Я намагаюся зробити вибір моделей на деяких прогнозованих кандидатах, використовуючи LASSO з постійним результатом. Мета полягає у виборі оптимальної моделі з найкращою продуктивністю прогнозування, що зазвичай може бути виконано перехресним перевіркою K-кратного результату після отримання шляху рішення параметрів настройки від LASSO. Проблема тут полягає в тому, що дані походять із …

11 cross-validation  survey  lasso  glmnet 

Я намагаюся виконати регресію ласо, яка має таку форму: Мінімізуйте вwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 З огляду на , мені порадили знайти оптимальне за допомогою квадратичного програмування, яке приймає таку форму:λλ\lambdawww Мінімізуйте in , відповідно доxxx12x′Qx+c′x12x′Qx+c′x\frac{1}{2} x'Qx + c'xAx≤b.Ax≤b.Ax \le b. Тепер я усвідомлюю, що термін повинен …

11 regression  lasso  quadratic-form 

Я хотів би вручну зафіксувати певний коефіцієнт, скажімо, , а потім підходити коефіцієнти до всіх інших прогнокторів, зберігаючи β 1 = 1,0 у моделі.β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Як я можу досягти цього за допомогою R? Я особливо хотів би попрацювати з LASSO ( glmnet), якщо можливо. Як варіант я можу обмежити …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Прочитавши розділ 3 в Елементах статистичного навчання (Хасті, Тібшрани та Фрідман), я задумався, чи можна реалізувати відомі методи усадки, які цитуються у назві цього питання, з урахуванням структури коваріації, тобто мінімізувати (можливо, більш загальне ) кількість ( у⃗ - Xβ⃗ )ТV- 1( у⃗ - Xβ⃗ ) + λ f( β) …

11 lasso  ridge-regression 

Коли я визначаю свою лямбда через перехресну перевірку, всі коефіцієнти стають нульовими. Але у мене є деякі натяки з літератури про те, що деякі прогнози обов'язково повинні вплинути на результат. Чи сміття довільно вибирати лямбда, щоб було стільки ж рідкості, скільки бажається? Я хочу вибрати топ-10 прогнозів з 135 для …

11 lasso 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закритий минулого року . Які реалізації з відкритим кодом - будь-якою мовою - існують там, які можуть обчислити шляхи регуляризації ласо для лінійної регресії за допомогою координатного …

11 regression  lasso  regularization 

Якщо β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , може ∥β∗∥2‖β∗‖2\|\beta^*\|_2 збільшується, коли λλ\lambda збільшується? Я думаю, що це можливо. Хоча ∥β∗∥1‖β∗‖1\|\beta^*\|_1 не збільшується, коли λλ\lambda збільшується (мій доказ ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 може збільшуватися. На малюнку нижче показана можливість. Коли λλ\lambda збільшується, якщо β∗β∗\beta^* рухається (лінійно) від PPP до QQQ , тоді ∥β∗∥2‖β∗‖2\|\beta^*\|_2 збільшується, тоді як …

11 lasso 

Моя ситуація: невеликий розмір зразка: 116 двійкова змінна результат довгий список пояснювальних змінних: 44 пояснювальні змінні не надходили з моєї голови; їх вибір ґрунтувався на літературі. більшість випадків у вибірці та більшість змінних мають відсутні значення. Вибраний підхід до вибору функцій: LASSO Пакет glmnet R не дозволить мені запустити програму …

11 r  spss  lasso  data-imputation 

Я шукаю інтуїтивну відповідь, чому модель GLM LASSO вибирає конкретного прогноктора з групи сильно корельованих, і чому це робить інакше, ніж вибір найкращої підмножини. З геометрії LASSO, показаної на фіг.2 в Tibshirani 1996, я припускаю думку, що LASSO вибирає предиктор з більшою дисперсією. Тепер припустимо, що я використовую найкращий вибір …

11 feature-selection  lasso 

Я намагаюсь узагальнити те, що я зрозумів до цього часу в пеналізованому багатоваріантному аналізі з великомірними наборами даних, і я все ще намагаюся отримати правильне визначення м'якої порогової оцінки проти Лассо (або ) пеналізації.L1L1L_1 Точніше, я використовував розріджену регресію PLS для аналізу 2-блокної структури даних, включаючи геномні дані ( одномолекулярні …

11 multivariate-analysis  lasso  feature-selection  genetics