Що означають статистики, коли вони кажуть, що ми не розуміємо, як працює LASSO (регуляризація)?

Нещодавно я був на кількох переговорах зі статистикою щодо Лассо (регуляризація), і ми говоримо про те, що ми не дуже розуміємо, чому працює Лассо або чому він працює так добре. Мені цікаво, на що йдеться в цьому твердженні. Очевидно, я розумію, чому Лассо працює технічно, запобігаючи надмірному оснащенню за рахунок усадки параметрів, але мені цікаво, чи є за цим твердженням глибший сенс. Хтось має ідеї? Дякую!

machine-learning lasso regularization

— користувач321627
джерело

Визначте «працює». Працює робити, що саме? Діє на збільшення розрідженості? Працює з метою запобігання надмірному оснащенню? Працює з метою отримання розумних статистичних тестів? - Або кажучи інакше, що б в цьому контексті означало "не працює"? - Як видно з коментарів до поточної відповіді, існує певна плутанина щодо того, що ви хочете.

— RM

@RM, ти насправді просто перефразовуєш ОП, ІМХО. ОП, ймовірно, є тим самим невідомим, як і той, у кого виникають проблеми з ідентифікацією.

— Річард Харді

@ RichardHardy Я бачу, як це могло бути так, але якщо так, я би сподівався, що ОП могла б принаймні розширити контекст на тих переговорах зі статистикою, в яких виникла суть, і, сподіваємось, допоможемо нам зосередитись на тому, що ці мовники можуть говорити думали.

— RM

@RM, добре тоді.

— Річард Харді

Відповіді:

Іноді бракує зв’язку між працюючими статистиками та спільнотою теорії навчання, які вивчають основи таких методів, як ласо. Теоретичні властивості ласо насправді дуже добре вивчені.

Цей документ містить підсумок у розділі 4 багатьох властивостей, якими він користується. Результати досить технічні, але по суті:

Він відновлює справжню підтримку (набір ненульових записів) розрідженого весового вектора за деякими м'якими припущеннями для досить великих наборів даних з високою ймовірністю.
Він зближується з правильним ваговим вектором з оптимальною швидкістю в міру збільшення розміру вибірки до тих пір, поки стовпці не надто співвідносяться. $X$

— AaronDefazio
джерело

Якщо розуміючи, чому працює Лассо, ви маєте на увазі розуміння того, чому він виконує вибір функції (тобто встановлення ваг для деяких функцій точно до 0), ми це добре розуміємо:

— полоскання
джерело

Дякую за гарну ілюстрацію, але я підозрюю, що це не та частина, в якій ОП зацікавлена. Зрозуміло, це слід уточнити в ОП.

— Річард Харді

Я не розумію точок (и) вашої діаграми.

— Майкл Р. Черник

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne, ваші бали є чудовою основою для відповіді!

— Річард Харді

@Chaconne, вона , здається, робить корисне обговорення , хоча шлях визначення того, що ми дійсно розуміємо , про Лассо!

— rinspy

Існує проблема відновлення знаків послідовності вибору моделі (на що відповіли статистики ) та

є проблема висновку (побудова хороших інтервалів довіри для оцінок), яка поки не є темою дослідження.

Більшу частину роботи роблять статистики, а не "спільнота теорії навчання".

— Гао Чжен
джерело

Як це додає до того, що вже було дано?

— Майкл Р. Черник

Тут ніхто не згадав про проблему умовиводу, що, на мою думку, є причиною того, що вимога («вона недостатньо зрозуміла») була висунута в першу чергу.

— Гао Чжен