Запитання з тегом «lasso»

Я знаю про переваги регуляризації при побудові прогнозних моделей (зміщення проти дисперсійності, запобігання надмірного розміщення). Але мені цікаво, чи гарна ідея також робити регуляризацію (ласо, хребет, еластична сітка), коли основною метою регресійної моделі є висновок про коефіцієнти (бачити, які прогноктори є статистично значущими). Я хотів би почути думки людей, а …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

У сценарії регресії LASSO де y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , і оцінки LASSO даються наступною проблемою оптимізації minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Чи існують припущення щодо розповсюдження інформації щодо ϵϵ\epsilon ? У сценарії OLS можна очікувати, що є незалежним та нормально розподіленим.ϵϵ\epsilon Чи має сенс аналізувати …

18 regression  lasso  assumptions  residuals 

Кажуть, що пеналізовані регресійні оцінки, такі як LASSO та гребінь, відповідають байєсівським оцінкам з певними приорами. Я здогадуюсь (оскільки я недостатньо знаю статистику Баєса), що для фіксованого параметра настроювання існує конкретний відповідний пріоритет. Тепер частофіліст оптимізував параметр настройки шляхом перехресної перевірки. Чи є баєсівський еквівалент цього чи використовується він взагалі? …

17 bayesian  lasso  ridge-regression 

Я запускаю LASSO, який має деякі категоричні прогнози змінних і деякі безперервні. У мене питання щодо категоричних змінних. Перший крок, який я розумію, - це розбити кожного з них на манекени, стандартизувати їх для справедливої ​​штрафу, а потім регресувати. Існує кілька варіантів для обробки фіктивних змінних: Включіть усі, крім однієї, …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

З огляду на безперервно залежну змінну y та незалежні змінні, включаючи порядкову змінну X 1 , як мені вписати лінійну модель R? Чи є документи про цей тип моделі?

17 r  regression  lasso  ordinal-data  predictor 

Я використовую Lasso для вибору функцій у відносно низькому розмірі (n >> p). Після встановлення моделі Лассо я хочу використовувати коваріати з ненульовими коефіцієнтами, щоб відповідати моделі без штрафних санкцій. Я роблю це, тому що хочу об'єктивних оцінок, які Лассо мені не може дати. Я також хотів би p-значень та …

17 regression  feature-selection  lasso  unbiased-estimator 

У мене є набір з 150 функцій, і багато з них сильно співвідносяться між собою. Моя мета - передбачити значення дискретної змінної, діапазон якої становить 1-8 . Розмір мого зразка - 550 , і я використовую 10-кратну перехресну перевірку. AFAIK серед методів регуляризації (Lasso, ElasticNet і Ridge), Ridge більш жорсткий …

17 regression  lasso  regularization  ridge-regression  elastic-net 

При поясненні регресії LASSO часто використовується діаграма алмазу і кола. Кажуть, що оскільки форма обмеження в LASSO є алмазом, отримане рішення з найменшими квадратами може торкатися кута алмазу таким чином, що це призводить до усадки деякої змінної. Однак при регресії хребта, оскільки це коло, він часто не торкнеться осі. Я …

16 regression  lasso  ridge-regression 

Я намагаюся ознайомитися з дослідженнями в області високомірної регресії; коли ppp більше nnn , т, p>>np>>np >> n . Схоже, що термін logp/nlog⁡p/n\log p/n часто з'являється з точки зору швидкості конвергенції для регресійних оцінювачів. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,. Зазвичай це також означає, …

16 regression  lasso  convergence  high-dimensional 

Якщо ми почнемо з набору даних , застосуємо до нього Лассо і отримаємо рішення , ми можемо знову застосувати Лассо до набору даних , де - безліч не- нульові індекси , щоб отримати рішення, , що називається "розслабленим LASSO" рішенням (виправте мене, якщо я помиляюся!). Рішення повинно задовольняти умовам Каруша …

16 regression  optimization  lasso  regularization  shrinkage 

У регресії ласо або хребта потрібно вказати параметр усадки, який часто називають або . Це значення часто вибирається за допомогою перехресної перевірки, перевіряючи купу різних значень на навчальних даних і бачачи, що дає найкращі результати, наприклад на тестових даних. Який діапазон значень слід перевірити? Це ?λλ\lambdaαα\alphaR2R2R^2(0,1)(0,1)(0,1)

16 regression  lasso  regularization  ridge-regression  penalized 

Розглянемо лінійну регресію з деякою регуляризацією: Eg Знайдіть що мінімізуєxxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Зазвичай стовпці А стандартизовані, щоб мати нульове середнє і одиничну норму, а - по центру, щоб мати нульове середнє. Хочу переконатися, чи правильно я розумію причину стандартизації та центрування.bbb Створюючи засоби стовпців AAA і bbb нульових, нам більше …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Якщо ви подивитеся на верхню частину цього повідомлення, письменник зазначає, що норма L2 має унікальне рішення, а норма L1, можливо, має багато рішень. Я розумію це з точки зору регуляризації, але не з точки зору використання норми L1 або норми L2 у функції втрат. Якщо ви подивитеся на графіки …

16 regression  lasso  regularization 

Я знаю про регуляризацію типу LASSO, хребет та еластичну сітку в моделях лінійної регресії. Питання: Чи можна застосувати цей (або подібний) вид пеналізованої оцінки до моделювання ARIMA (з не порожньою частиною МА)? pmaxpмахp_{max}qmaxqмахq_{max}p⩽pmaxp⩽pмахp \leqslant p_{max}q⩽qmaxq⩽qмахq \leqslant q_{max} наприклад, мінімізуючи AIC або AICc . Але чи можна замість цього використовувати регуляризацію? …

15 time-series  arima  lasso  regularization  ridge-regression 

Я намагаюся зрозуміти, чи варто йти на регресію хребта , LASSO , регресію основного компонента (PCR) або часткові найменші квадрати (PLS) у ситуації, коли існує велика кількість змінних / ознак ( ) та менша кількість зразків ( n < p ), і моя мета - передбачення.pppn<pn<pn np>10np>10np>10n Змінні ( і …

15 regression  pca  lasso  ridge-regression  partial-least-squares