У стисненому зондуванні існує гарантія теореми про те, що має унікальне розріджене рішення c (докладнішу інформацію див. У додатку).

Чи існує аналогічна теорема для лассо? Якщо є така теорема, вона не тільки гарантує стабільність ласо, але й надасть лассо більш змістовне тлумачення:

lasso може виявити вектор розрідженого коефіцієнта регресії $c$ який використовується для генерування відповіді $y$ на $y = Xc$ .

Я задаю це питання двом причинам:

1. Я думаю, що "ласо сприяє рідкісному рішенню" - це не відповідь на те, навіщо використовувати ласо для вибору функцій, оскільки ми навіть не можемо сказати, у чому перевага вибраних нами функцій.

2. Я дізнався, що Лассо відомий тим, що нестійкий для вибору функцій. На практиці нам доводиться запускати зразки завантажувальної програми, щоб оцінити її стабільність. Яка найважливіша причина, що викликає цю нестабільність?

Додаток:

Дано $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ - $\Omega$ розріджений вектор ( $\Omega \leqslant M$ ). Процес $y = Xc$ породжує відповідь $y$ . Якщо $X$ має NSP (властивість нульового простору) порядку $\Omega$ та коваріаційна матриця $X$ не має власного значення, близького до нуля, з'явиться унікальне рішення

Те, що ця теорема також говорить, це також, якщо не має NSP порядку , вирішувати .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

Редагувати:

Отримавши ці чудові відповіді, я зрозумів, що розгубився, коли задав це питання.

Чому це питання бентежить:

Я прочитав дослідницький документ, в якому ми маємо вирішити, скільки функцій (стовпців) матиме матриця проекту (допоміжні функції створюються з первинних ознак). Оскільки це типова задача, очікується , що буде добре побудований таким чином, що рішення ласо може бути хорошим наближенням до реального розрідженого рішення.$X_{N \times M}$$n < p$$D$

Міркування зроблено з теореми, яку я згадав у додатку: Якщо ми прагнемо знайти -розгалужений розчин , краще мати NSP порядку .$\Omega$$c$$X$$\Omega$

Для загальної матриці , якщо порушено, то$N \times M$$N > C \Omega \ln M$

не можливе стабільне і надійне відновлення з і$c$$D$$P$

$D$ відповідає , відповідає$X$$P$$y$

... як очікується від зв'язку , вибір дескриптора стає більш нестабільним, тобто для різних навчальних наборів вибраний дескриптор часто відрізняється ...$N = C \Omega \ln M$

Друга цитата - це частина, яка мене бентежить. Мені здається, коли нерівність буде порушена, це не просто рішення, можливо, унікальне (не згадане), але дескриптор також стане більш нестабільним.

ОНОВЛЕННЯ

Дивіться цей другий пост щодо відгуків Макдональдса щодо моєї відповіді, де поняття послідовності ризику пов'язане зі стабільністю.

1) Унікальність проти стійкості

На ваше питання важко відповісти, оскільки в ньому згадуються дві дуже різні теми: унікальність та стабільність .

• Інтуїтивно зрозуміле, рішення є унікальним, якщо давати фіксований набір даних, алгоритм завжди дає однакові результати. Обкладинка відповіді Мартіна дуже детально розглядає цей момент.

• Стабільність, з іншого боку, може бути зрозуміла інтуїтивно як така, для якої передбачення не сильно змінюється, коли дані тренувань незначно змінюються.

Стабільність застосовується до вашого запитання, оскільки вибір особливостей Лассо (часто) здійснюється за допомогою перехресної перевірки, отже, алгоритм Лассо виконується на різних складках даних і кожен раз може давати різні результати.

Стабільність та теорема безвільного обіду

Використовуючи визначення звідси, якщо ми визначимо Єдину стабільність як:

Алгоритм має рівномірну стабільність щодо функції втрати якщо виконується наступне:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Розглядаючи як функцію , термін можна записати як . Ми говоримо, що алгоритм стабільний, коли зменшується як .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

тоді "Теорема вільного обіду, Сюй і Караміс (2012)" стверджує, що

Якщо алгоритм розріджений , в тому сенсі, що він ідентифікує зайві функції, то цей алгоритм не є стабільним (і рівномірна зв'язана стабільність не йде до нуля). [...] Якщо алгоритм стабільний, то немає сподівання, що він буде рідким. (сторінки 3 і 4)$\beta$

Наприклад, регресія є стабільною і не визначає зайвих ознак, тоді як регульована регресія (Lasso) нестабільна. $L_2$$L_1$

Спроба відповісти на ваше запитання

Я думаю, що "ласо підтримує рідкісне рішення" - це не відповідь на те, чому використовувати "ласо" для вибору функцій

• Я не погоджуюся, що причина, коли Лассо використовується для вибору особливостей, полягає в тому, що він дає розріджене рішення і може бути показано, що він має властивість IRF, тобто визначає надлишкові функції.

Яка найважливіша причина, що викликає цю нестабільність

• Теорема без вільного обіду

Йдемо далі

Це не означає, що поєднання перехресної валідації та лассо не працює ... насправді було експериментально (і з великою кількістю підтримуючої теорії) дуже добре працювати в різних умовах. Основні ключові слова тут - послідовність , ризик, нерівності оракул тощо.

Наступні слайди та папір McDonald та Homrighausen (2013) описують деякі умови, за яких вибір функцій Лассо працює добре: слайди та папір: "Ласо, наполегливість та перехресна перевірка, Макдональд та Хомріггаузен (2013)" . Сам Тібшірані також опублікував чудовий набір приміток про обмеженість , лінійну регресію

Різні умови послідовності та їх вплив на Лассо є активною темою дослідження і, безумовно, не є тривіальним питанням. Я можу навести вас на деякі дослідницькі роботи, які є актуальними:

• Відео лекції про теорему "Без вільного обіду", Сюй
• HM Bøvelstad та всі, Порівняння підходів до вибору ознак для селекції генів, (2007)
• The lasso, наполегливість та перехресне підтвердження, McDonald та Homrighausen (2013)
• Хуан і Бовік, підсумок та обговорення: "Вибір стабільності"
• Лім і Ю, Стабільність оцінки з перехресною валідацією, (2015)
• Бесіда Пітера Бульмана: Вибір стабільності для високомірних даних (2008) та супровідний документ
• Ван, Нан та всі, Random Lasso, (2011)
• Повідомлення Stackexchange: стабільність моделі при вирішенні великої , малої проблеми$p$$n$
• Робертс, Ноакм Стабілізуючи ласо проти перехресної мінливості, (2014), який стверджує, що "перцентиль-ласо може призвести до великих скорочень як нестабільності вибору моделі, так і помилки вибору моделі порівняно з ласо"
• Дивовижний набір нот Тибширані та Вассермана про рідкість , лінійну регресію

Коментарі від Daniel J. McDonald

Доцент з університету Індіани Блумінгтон, автор двох робіт, згаданих в оригінальній відповіді Ксав'є Бурета Сікотта .

Ваше пояснення, як правило, цілком правильне. Я хотів би зазначити кілька речей:

1. Нашою метою в серії робіт про CV та лассо було довести, що "Лассо + перехресна перевірка (CV)" робить так само, як "Лассо + оптимальна "$\lambda$ . Зокрема, ми хотіли показати, що прогнози роблять також (без моделей). Для того, щоб робити твердження про правильне відновлення коефіцієнтів (знаходження правильних нерідких коефіцієнтів), потрібно припустити розріджену істину, чого ми не хотіли робити.

2. Алгоритмічна стійкість передбачає послідовність ризику (я вважаю, що вперше довели Буске та Еліссефф). Під послідовністю ризику я маю на увазі, щопереходить до нуля, де f або або найкращий предиктор у межах якогось класу, якщо клас неправильно визначений. Однак це лише достатня умова. Це згадується на слайдах, до яких ви посилаєтесь, як, по суті, "можлива техніка доказування, яка не буде працювати, оскільки ласо не є стабільним".$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. Стабільність лише достатня, але не потрібна. Ми змогли показати, що в деяких умовах прогнозується "lasso + CV", а також "lasso + Optimum ". Папір, яку ви цитуєте, дає найслабші припущення (ті, які є на слайді 16, які дозволяють ), але використовує обмежену форму ласо, а не більш поширену версію Лагранжа. Інший документ ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) використовує версію лагранжа. Це також показує, що за набагато сильніших умов вибір моделі також буде працювати. Найновіший документ ( https://arxiv.org/abs/1605.02214 ) інших людей стверджує, що покращити ці результати (я не читав його уважно).$\lambda$$p>n$

4. Загалом, оскільки ласо (або будь-який алгоритм відбору) не є стабільним, потрібно більш ретельний аналіз та / або вагомі припущення, щоб показати, що "алгоритм + резюме" вибере правильну модель. Я не знаю необхідних умов, хоча це було б надзвичайно цікаво. Не надто важко показати, що для фіксованої лямбда передбачувач ласо локально є Ліпшицем у векторі (я вважаю, що це робить одна чи кілька робіт Райана Тібшірані). Якщо можна також стверджувати, що це справедливо в , це було б дуже цікаво і актуально тут.$Y$$X_i$

Основний винос , що я хотів би додати до відповіді: «стабільність» означає «ризик-послідовність» або «точність передбачення" Це також може означати "параметр оцінки відповідності" при більш припущеннях Але безкоштовний обід означає теорема "вибір" .. "не стабільний". Лассо не стабільний навіть з фіксованою лямбдою. Це, безумовно, нестабільний, тому поєднується з резюме (будь-якого типу). CV Унікальність тут несуттєва.$\rightarrow$

Лассо, на відміну від регресії Рейда (див., Наприклад, Hoerl and Kennard, 1970; Hastie et al., 2009), не завжди має унікальне рішення, хоча, як правило, воно є. Це залежить від кількості параметрів у моделі, від того, чи є змінні безперервними чи дискретними, та рангом вашої проектної матриці. Умови унікальності можна знайти в Tibshirani (2013).

Список літератури:

Хасті, Т., Тібшірані, Р. та Фрідман, Дж. (2009). Елементи статистичного навчання . Спрингерська серія в статистиці. Спрингер, Нью-Йорк, 11-е друк, 2-е видання.

Hoerl, AE та Kennard, RW (1970). Регресія хребта: Об'єктивна оцінка неортогональних проблем. Технометрія , 12 (1), 55-67.

Tibshirani, RJ (2013). Проблема та унікальність ласо. Електронний журнал статистики , 7, 1456-1490.

Що спричиняє неповторність.

Для векторів (де є знаком, що позначає, чи буде зміна збільшуватися чи зменшуватися ), коли вони будуть афінно залежними:s i c i ‖ c ‖ $s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

то існує нескінченна кількість комбінацій , які не змінюють рішення і норму . X c ‖ c ‖ $c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Наприклад:

має для рішення:$\Vert c \Vert_1 = 1$

з$0\leq \gamma \leq \frac{1}{2}$

Ми можемо сортувати заміну вектора , використовуючи$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Ситуації без цієї умови

У статті Тібшірані (з відповіді Філа) описано три достатні умови, щоб Ласо отримав унікальне рішення.

1. Лінійно незалежні Коли нульовий простір дорівнює нулю або еквівалентно, коли ранг дорівнює кількості стовпців (M). У такому випадку у вас немає лінійних комбінацій, як вище.$X$$X$

2. Виразно незалежні, коли стовпці знаходяться в загальному положенні.$Xs$

   Тобто жоден стовпчик не представляє точки в розмірній площині . площина k-2 може бути параметризована будь точками як з . З - точкою у цій самій площині ви мали б умови з$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Зауважте, що у прикладі стовпці , та знаходяться в одному рядку. (Однак тут трохи незручно, оскільки знаки можуть бути негативними, наприклад, матриця має а також немає унікального рішення)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. Коли стовпці мають постійний розподіл, то навряд чи (майже вірогідність нуля) у вас будуть стовпці не в загальному положенні.$X$$X$

   На противагу цьому, якщо стовпці є категоріальною змінною, то ця ймовірність не обов'язково майже дорівнює нулю. Ймовірність того, що для неперервної змінної буде дорівнює деяка множина чисел (тобто площин, що відповідають афінному проміжку інших векторів), є майже «нульовою». Але це не стосується дискретних змінних.$X$