Зв'язок між рецептурами Лассо

Це питання може бути німим, але я помітив, що є дві різні форми регресії Лассо . Ми знаємо, що проблема Лассо полягає в тому, щоб мінімізувати мету, що складається з квадратної втрати плюс штрафний термін -1, виражений таким чином, $L$

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \;$

Але часто, коли я бачив оцінювач Лассо, можна записати як

{\hat{β}}_{n} (λ) = \arg min_{β} {\frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}}

$\hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \}$

Моє запитання: чи є рівнозначними? Звідки береться термін $\frac {1}{2n}$ ? Зв'язки між двома рецептами для мене не очевидні.

[Оновлення] Я думаю, що запитання, яке я повинен задати, це:

Чому існує друга рецептура? Яка теоретична чи обчислювальна перевага у формулюванні проблеми таким чином?

lasso

— Аарон Зенг
джерело

Якщо встановити у другій рецептурі, що дорівнює разів більше, ніж у першій рецептурі, то цільова функція у другій рецептурі на перевищує об'єктивну функцію у першій рецептурі. По суті, ви просто змінили одиниці вимірювання збитків. Як ви гадаєте, що змінило б оптимальні значення ?

λ

$\lambda$

1 / (2 n)

$1/(2n)$

λ

$\lambda$

1 / (2 n)

$1/(2n)$

β

$\beta$

— whuber

Дякую, @Whuber. Це для мене сенс. Тоді чому існує остання рецептура? Яка теоретична чи обчислювальна перевага у формулюванні проблеми таким чином?

— Аарон Дзенг

Вони справді рівноцінні, оскільки завжди можна змінити масштаб (див. Також коментар @ whuber). З теоретичної точки зору, це питання зручності, але, наскільки я знаю, це не потрібно. З точки зору обчислень, я фактично вважаю досить дратівливим, тому зазвичай використовую першу рецептуру, якщо розробляю алгоритм, який використовує регуляризацію. $\lambda$ $1/(2n)$

Невелика історія: Коли я вперше почав дізнаватися про пеніалізовані методи, мені стало роздратовано переносити всюди в своїй роботі, тому я вважав за краще ігнорувати це - це навіть спростило деякі мої розрахунки. На той час моя робота в основному була обчислювальною. З недавніх пір я займаюся теоретичною роботою, і вважаю, що незамінним (навіть проти, скажімо, ). $1/(2n)$ $1/(2n)$ $1/n$

Більш детально: Коли ви намагаєтесь проаналізувати поведінку Лассо як функції розміру вибірки , вам часто доводиться мати справу з сумами iid випадкових змінних, і на практиці зазвичай зручніше аналізувати такі суми після нормалізації на - -задумайте закон великих чисел / теорему про центральну межу (або якщо ви хочете отримати фантазію, концентрацію міри та емпіричну теорію процесу). Якщо у вас немає терміну перед збитком, ви, в кінцевому рахунку, в кінцевому підсумку аналізу щось переосмислити, тож, як правило, приємніше мати це для початку. зручна тим , що вона скасовує деякі дратівливі чинники $n$ $n$ $1/n$ $1/2$ $2$ в аналізі (наприклад, коли ви берете похідну від квадрата збитку).

Інший спосіб думати про це полягає в тому, що, виконуючи теорію, ми, як правило, зацікавлені в поведінці рішень, оскільки збільшується - тобто не є якоюсь фіксованою величиною. На практиці, коли ми запускаємо Lasso на якомусь фіксованому наборі даних, дійсно фіксується з точки зору алгоритму / обчислень. Отже, маючи додатковий нормалізуючий фактор на передній частині, не все так корисно. $n$ $n$ $n$

Це може здатися набридливим питанням зручності, але, витративши достатньо часу на маніпулювання цими видами нерівностей, я навчився любити . $1/(2n)$

— ДжонА
джерело

Як тільки ви зрозумієте, для чого ці нормалізуючі константи, ви починаєте їх бачити всюди .

— Метью Друрі

Дякую за це пояснення. Ми з гордістю читаємо ваш чудовий досвід у цій галузі. Дякую ще раз

— Крістіна