Чи регресія з регуляризацією L1 така сама, як у Лассо, а з регуляризацією L2 така ж, як і регресія хребта? А як написати "Лассо"?

Я програмний інженер, який навчається машинному навчанню, зокрема, через курси машинного навчання Ендрю Нґ . Під час вивчення лінійної регресії з регуляризацією я виявив терміни, які заплутані:

Регресія з L1 регуляризацією або L2 регуляризацією
ЛАССО
Регресія хребта

Тож мої запитання:

Чи регресія з регуляризацією L1 точно така ж, як і LASSO?
Чи регресія з регуляризацією L2 точно така ж, як регрес Рейда?
Як "LASSO" використовується в письмовій формі? Чи повинен це бути "регрес LASSO"? Я бачив використання на кшталт " ласо більше підходить ".

Якщо відповідь "так" для 1 і 2 вище, то чому для цих двох термінів існують різні назви? "L1" та "L2" походять з інформатики / математики, а "LASSO" та "Ridge" зі статистики?

Використання цих термінів заплутано, коли я бачу публікації типу:

" Яка різниця між L1 і L2 регуляризацією? " (Quora.com)

" Коли я повинен використовувати Lasso vs Ridge? " (Stats.stackexchange.com)

— stackoverflowuser2010
джерело

Хоча я відповідаю пізно. Цей всебічний посібник для початківців щодо лінійної, хребтної та лассо-регресії допоможе новачкам зрозуміти ці терміни чітко. Дивіться тут

— Учень

Так.
Так.
LASSO насправді є абревіатурою (найменше абсолютним оператором усадки та вибору), тому його слід використовувати з великої літери, але сучасне написання - це лексичний еквівалент Mad Max . З іншого боку, Амеба пише, що навіть статистики, які ввели термін LASSO, зараз використовують рендеринг малих регістрів (Хасті, Тібшірані та Уейнрайт, Статистичне навчання з рідкістю ). Можна лише міркувати щодо мотивації перемикача. Якщо ви пишете для академічної преси, вони зазвичай мають посібник зі стилів для подібних речей. Якщо ви пишете на цьому форумі, або добре, і я сумніваюся, що хтось справді переймається.

$L$ $L^p$ $p>0$

‖ x ‖_{p} = (| x_{1} |^{p} + | x_{2} |^{p} + . . . + | x_{n} |^{p})^{\frac{1}{p}}

$\|x\|_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$

p \geq 1

$p\ge 1$

0 < p < 1

$0<p<1$

Я не впевнений, коли було здійснено зв’язок між хребтом та LASSO.

Щодо того, чому існує кілька імен, просто питання, що ці методи розроблялися в різних місцях у різний час. Поширеною темою статистики є те, що поняття часто мають декілька імен, по одному для кожного підполя, в якому воно було незалежно виявлено (функції ядра проти коваріаційних функцій, регресія процесу Гаусса проти Кригінга, AUC проти -статистичні). Регресію хребта, мабуть, слід назвати регуляризацією Тихонова, оскільки я вважаю, що він має найбільш ранні претензії до методу. Тим часом LASSO був представлений лише в 1996 році, набагато пізніше методу Тихонова "хребет"! $c$

— Sycorax каже, що відновіть Моніку
джерело

+1. У недавньому підручнику « Статистичне навчання з Sparsity» Хасті , Тібширані та Уейнрайт всюди використовують «ласо», а також пишуть таке (виноска на сторінці 8): «Ласо - це довга мотузка з петелькою на одному кінець, що використовується для лову коней та великої рогатої худоби. У переносному значенні метод "ласос" коефіцієнти моделі. В оригінальному документі "ласо" (Tibshirani 1996) назва "ласо" також було введено як абревіатура для "найменшого абсолютного" Оператор вибору та усадки. "" (CC to @ stackoverflowuser2010.)

— Амеба каже "Відновити Моніку"

І вони продовжують: "Вимова: у США" лассо ", як правило, вимовляється" лас-ой "(о, як у козла), а у Великобританії -" лас-оо ". ласо виражені Lasoo тих , хто використовує його, і більшість англійських людей теж «» :-).

— амеба говорить відновила Моніка

(+1) Оскільки абревіатури, які є власними (ті абревіатури, які вимовляються як слова), набувають валюти, їх велика література має тенденцію проходити дошкою. Минув час, коли я бачив "RADAR" або "LASER".

— Scortchi

@Scortchi SCUBA теж. Тим часом у нас люди пишуть STATA та MATLAB так, ніби вони є абревіатурами.

— shadowtalker

@ssdecontrol: Чи повинен "ANOVA" бути "AnOVa" тоді?

— Scortchi