Регуляризація

Існує багато методів проведення регуляризації - наприклад, , і заснована на нормуванні регуляризації. На думку Friedman Hastie & Tibsharani , найкращий регуляризатор залежить від проблеми: а саме від природи справжньої цільової функції, конкретної основи, що використовується, співвідношення сигнал-шум та розміру вибірки. $L_0$ $L_1$ $L_2$

Чи є емпіричні дослідження, що порівнюють методи та ефективність різних методів регуляризації?

r regression machine-learning regularization

— Рам Ахлувалія
джерело

Усі три автори перебувають у Стенфорді. Чому б просто не запитати одну з них безпосередньо. Роб Тібширані дуже доступний, як і Джеррі Фрідман. Фрідман зробив чимало оригінальних досліджень у регульованій регресії. Тож він може бути кращим вибором.

— Майкл Р. Черник

Звичайно, я не можу сказати, що я дав йому відповідь. Але спрямування його на найкращу людину, щоб відповісти на питання, здається більш ніж просто звичайним коментарем, який зазвичай намагається уточнити. Мені часто цікаво, чому люди завжди ставлять свої запитання тут, коли вони можуть піти прямо до джерела. Я майже впевнений, що Фрідман може відповісти на це, і є так багато сенсу звертатися до джерела, особливо коли мова йде про щось, що написано в їхній книзі. Я міг би піти до джерела, щоб отримати відповідь, а потім представити його тут.

— Майкл Р. Черник

Люди залякані статусом джерела як авторитету, припустимо, джерело надто зайняте, щоб вирішити їх (на їхню думку) другорядне та неважливе питання, бояться отримати грубість "чому ти мені це турбуєш?" відповідь ... Набагато простіше перейти до джерела, якщо ви теж є джерелом, можливо, для інших речей у цій галузі.

— jbowman

@jbowman Так. Я розумію, що. Але ви зауважите, що я знаю Тібшірані та Фрідмана на особистому рівні і запевнив ОП, що їхній страх є необґрунтованим у цих авторів. Я не згадував Хасті, тому що не знаю його так само добре, як інші.

— Майкл Р. Черник

@chl Я не думаю, що ми реально сподіваємось побачити їх приєднання до сайту. Це вимагає занадто багато часу для зайнятих професорів, за кількома винятками, як Френк Харрелл і, можливо, інші, які використовують псевдоніми. Але я думаю, що вони знайдуть час, щоб відповісти на конкретні запитання, надіслані їм безпосередньо.

— Майкл Р. Черник

Розглянемо пеніалізовану лінійну модель.

штраф не дуже використовується і часто замінюється на нормою, математично більш гнучким. $L_0$ $L_1$

$L_1$

$L_2$ $\lambda$ $L_2$

— Донбео
джерело

L_{0}

$L_0$

L_{0}

$L_0$

Кілька доповнень до відповіді @Donbeo

1) Норма L0 не є нормою в істинному розумінні. Це кількість ненульових записів у векторі. Ця норма явно не є опуклою нормою і не є нормою в справжньому розумінні. Отже, ви можете побачити такі терміни, як L0 "норма". Це стає комбінаторною проблемою і, отже, важко для НП.

2) Норма L1 дає розріджене рішення (дивіться LASSO). Існують насінні результати Candes, Donoho тощо, які показують, що якщо справжнє рішення є дуже рідким, пеніалізовані методи L1 відновлять його. Якщо базове рішення не є рідким, ви не отримаєте базове рішення у випадках, коли p >> n. Є хороші результати, які показують, що Лассо є послідовним.

3) Існують такі методи, як Еластична сітка Чжоу та Хасті, які поєднують пенізовані рішення L2 та L1.

— Сид
джерело