Запитання з тегом «ridge-regression»

Питання про те, що зробити висновок із цього сюжету ласо (glmnet), демонструє шляхи рішення для оцінювача ласо, які не є монотонними. Тобто, деякі коефіцієнти ростуть в абсолютній вартості, перш ніж вони скорочуються. Я застосовував ці моделі до декількох різних типів наборів даних і ніколи не бачив такої поведінки "в дикій …

18 lasso  ridge-regression  elastic-net 

Я використовую регресію хребта на високо мультиколінеарних даних. Використовуючи OLS, я отримую великі стандартні похибки коефіцієнтів завдяки мультиколінеарності. Я знаю, що регресія хребта - це спосіб вирішити цю проблему, але в усіх реалізаціях регресії хребтів, які я переглянув, немає стандартних помилок, повідомлених для коефіцієнтів. Я хотів би дещо оцінити, наскільки …

18 standard-error  ridge-regression 

Яка різниця між Primal , подвійною та регресією керневого хребта? Люди використовують усіх трьох, і через різні позначення, якими користуються всі в різних джерелах, мені важко дотримуватися. То чи може хтось простими словами сказати мені, в чому різниця між цими трьома? Крім того, які можуть бути деякі переваги чи недоліки …

18 regression  kernel-trick  ridge-regression 

Під час експерименту з класифікації тексту я виявив класифікатор хребта, що генерує результати, які постійно перевершують тести серед тих класифікаторів, які частіше згадуються та застосовуються для завдань з виведення тексту, таких як SVM, NB, kNN тощо. Хоча я ще не розробив про оптимізацію кожного класифікатора в цій конкретній задачі класифікації …

18 machine-learning  classification  text-mining  ridge-regression 

Я знаю про переваги регуляризації при побудові прогнозних моделей (зміщення проти дисперсійності, запобігання надмірного розміщення). Але мені цікаво, чи гарна ідея також робити регуляризацію (ласо, хребет, еластична сітка), коли основною метою регресійної моделі є висновок про коефіцієнти (бачити, які прогноктори є статистично значущими). Я хотів би почути думки людей, а …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Кажуть, що пеналізовані регресійні оцінки, такі як LASSO та гребінь, відповідають байєсівським оцінкам з певними приорами. Я здогадуюсь (оскільки я недостатньо знаю статистику Баєса), що для фіксованого параметра настроювання існує конкретний відповідний пріоритет. Тепер частофіліст оптимізував параметр настройки шляхом перехресної перевірки. Чи є баєсівський еквівалент цього чи використовується він взагалі? …

17 bayesian  lasso  ridge-regression 

Я реалізую Ridge Regression в модулі Python / C, і я натрапив на цю "маленьку" проблему. Ідея полягає в тому, що я хочу взяти вибірку ефективних ступенів свободи в більшій чи меншій мірі однаковою мірою (як сюжет на стор. 65 у розділі "Елементи статистичного навчання" ), тобто зразок: де - …

17 ridge-regression 

У мене є набір з 150 функцій, і багато з них сильно співвідносяться між собою. Моя мета - передбачити значення дискретної змінної, діапазон якої становить 1-8 . Розмір мого зразка - 550 , і я використовую 10-кратну перехресну перевірку. AFAIK серед методів регуляризації (Lasso, ElasticNet і Ridge), Ridge більш жорсткий …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Розглянемо стандартну проблему регресії OLS : У мене є матриці \ Y і \ X, і я хочу знайти \ B, щоб мінімізувати L = \ | \ Y- \ X \ B \ | ^ 2. Рішення задається \ hat \ B = \ argmin_ \ B \ {L …

16 regression  least-squares  ridge-regression 

При поясненні регресії LASSO часто використовується діаграма алмазу і кола. Кажуть, що оскільки форма обмеження в LASSO є алмазом, отримане рішення з найменшими квадратами може торкатися кута алмазу таким чином, що це призводить до усадки деякої змінної. Однак при регресії хребта, оскільки це коло, він часто не торкнеться осі. Я …

16 regression  lasso  ridge-regression 

Регресія хребта оцінює параметри в лінійній моделі \ mathbf y = \ mathbf X \ boldsymbol \ beta по \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X …

16 regression  ridge-regression  shrinkage 

У регресії ласо або хребта потрібно вказати параметр усадки, який часто називають або . Це значення часто вибирається за допомогою перехресної перевірки, перевіряючи купу різних значень на навчальних даних і бачачи, що дає найкращі результати, наприклад на тестових даних. Який діапазон значень слід перевірити? Це ?λλ\lambdaαα\alphaR2R2R^2(0,1)(0,1)(0,1)

16 regression  lasso  regularization  ridge-regression  penalized 

На цьому сайті вже розміщено повідомлення, що говорить про те саме: Чому працює усадка? Але, хоча відповіді популярні, я не вірю, що суть питання справді вирішена. Цілком зрозуміло, що введення деякої упередженості в оцінку призводить до зменшення дисперсії та може покращити якість оцінки. Однак: 1) Чому шкода, заподіяна введенням зміщення, …

15 regularization  ridge-regression  shrinkage 

Я знаю про регуляризацію типу LASSO, хребет та еластичну сітку в моделях лінійної регресії. Питання: Чи можна застосувати цей (або подібний) вид пеналізованої оцінки до моделювання ARIMA (з не порожньою частиною МА)? pmaxpмахp_{max}qmaxqмахq_{max}p⩽pmaxp⩽pмахp \leqslant p_{max}q⩽qmaxq⩽qмахq \leqslant q_{max} наприклад, мінімізуючи AIC або AICc . Але чи можна замість цього використовувати регуляризацію? …

15 time-series  arima  lasso  regularization  ridge-regression 

Я намагаюся зрозуміти, чи варто йти на регресію хребта , LASSO , регресію основного компонента (PCR) або часткові найменші квадрати (PLS) у ситуації, коли існує велика кількість змінних / ознак ( ) та менша кількість зразків ( n < p ), і моя мета - передбачення.pppn<pn<pn np>10np>10np>10n Змінні ( і …

15 regression  pca  lasso  ridge-regression  partial-least-squares