Які недоліки використання ласо для змінного вибору для регресії?

З того, що мені відомо, використання ласо для змінного вибору вирішує проблему корельованих входів. Крім того, оскільки він еквівалентний регресії з найменшим кутом, він обчислюється не повільно. Однак багато людей (наприклад, люди, яких я знаю, що займаються біостатистикою) все ще, здається, віддають перевагу поетапному або поетапному змінному вибору. Чи є якісь практичні недоліки використання ласо, що робить його несприятливим?

Немає причин робити поетапний вибір. Це просто неправильно.

LASSO / LAR - найкращі автоматичні методи. Але це автоматичні методи. Вони дозволяють аналітику не думати.

У багатьох аналізах деякі змінні повинні містити модель ВІДМОВЛЕННЯ будь-якої міри значущості. Іноді вони є необхідними контрольними змінними. В інших випадках пошук невеликого ефекту може бути суттєво важливим.

Якщо вас цікавить лише помилка передбачення і не піклується про інтерпретацію, випадкові умовиводи, простоту моделі, тести коефіцієнтів тощо, чому ви все ще хочете використовувати лінійну регресійну модель?

Ви можете використовувати щось на кшталт збільшення на деревах рішень або підтримку векторної регресії та покращити якість прогнозування та все-таки уникнути перевиконання в обох зазначених випадках. Тобто Лассо, можливо, не є найкращим вибором для отримання найкращої якості прогнозування.

Якщо я розумію правильно, Лассо призначений для ситуацій, коли вас все ще цікавить сама модель, а не лише прогнози. Тобто - бачити вибрані змінні та їх коефіцієнти, інтерпретувати певним чином і т. Д. І для цього - Лассо може бути не найкращим вибором у певних ситуаціях, про що йдеться в інших питаннях тут.

LASSO заохочує скорочення коефіцієнтів до 0, тобто випадання цих змінних з вашої моделі. Навпаки, інші методи регуляризації, такі як хребет, мають тенденцію зберігати всі показники.

Тому я рекомендую подумати про те, чи має таке скасування сенс для ваших даних. Наприклад, розглянути можливість встановлення клінічного діагностичного тесту на даних про ген мікроматриці або на вібраційних спектроскопічних даних.

• Ви очікуєте, що деякі гени несуть відповідну інформацію, але багато інших генів - це просто шум. ваша заявка. Видалення цих змінних - ідеально розумна ідея.

• Навпаки, вібраційні спектроскопічні набори даних (хоча зазвичай мають подібні розміри порівняно з даними мікромасиви), як правило, мають відповідну інформацію "розмазану" великими частинами спектру (кореляція). У цій ситуації просити регуляризацію скидання змінних не є особливо розумним підходом. Тим більше, що інші методи регуляризації, такі як PLS, більш пристосовані до цього типу даних.

Елементи статистичного навчання добре обговорюють LASSO та протиставляють його іншим методам регуляризації.

Якщо два предиктори сильно співвідносяться, LASSO може закінчитися випадковим випаданням. Це не дуже добре, коли ви хочете робити прогнози для населення, де ці два прогнози не сильно корелюються, і, можливо, це причина віддати перевагу регресії хребта за тих обставин.

Ви також можете подумати, що стандартизація предикторів (сказати, коли коефіцієнти "великі" чи "малі") досить довільна і не здивована (як я) щодо розумних способів стандартизації категоричних предикторів.

Лассо корисний лише в тому випадку, якщо ви обмежуєте розглядати моделі, лінійні в оцінюваних параметрах. Заявлений іншим способом, ласо не оцінює, чи вибрали ви правильну форму взаємозв'язку між незалежною та залежною змінною.

Дуже правдоподібно, що у довільному наборі даних можуть бути нелінійні, інтерактивні чи поліноміальні ефекти. Однак ці характеристики альтернативної моделі оцінюватимуться лише в тому випадку, якщо користувач проводить цей аналіз; ласо не є заміною для цього.

Для простого прикладу того, як це може піти не так, розглянемо набір даних, в яких неперервні інтервали незалежної змінної передбачають чергування високих і низьких значень залежної змінної. Це буде складно вирішити за допомогою звичайних лінійних моделей, оскільки в маніфестних змінних, присутніх для аналізу, немає лінійного ефекту (але може бути корисним деяке перетворення змінних маніфесту). Залишившись у своїй маніфестованій формі, ласо неправильно зробить висновок, що ця ознака стороння і нульовий її коефіцієнт, оскільки немає лінійної залежності. З іншого боку, оскільки в даних є розбиті по осі розбиття, модель на основі дерева, як випадковий ліс, ймовірно, буде добре.

Одним з практичних недоліків ласо та інших методів регуляризації є пошук оптимального коефіцієнта регуляризації, лямбда. Використання перехресної перевірки для знаходження цього значення може бути так само дорого, як і методи поетапного вибору.

Я не експерт LASSO, але я фахівець у часових рядах. Якщо у вас є дані часових рядів або просторові дані, я б старанно уникав рішення, яке було засноване на незалежних спостереженнях. Крім того, якщо є невідомі детерміновані ефекти, які зіграли б ваші дані (зсуви рівня / тенденції часу тощо), то LASSO був би ще менш хорошим молотом. На завершення, коли у вас є дані часових рядів, вам часто потрібно сегментувати дані, стикаючись з параметрами або дисперсією помилок, які змінюються з часом.

Це вже досить давнє запитання, але я вважаю, що тим часом більшість відповідей тут є досить застарілими (а той, який перевіряється як правильна відповідь, явно неправильний, імхо).

По-перше, з точки зору отримання хороших показників прогнозування не є загальним чином, що LASSO завжди краще, ніж поетапно. У статті "Розширені порівняння вибору найкращої підмножини", "Попередній покроковий вибір" та "Лассо" (Hastie et al. (2017)) пропонується широке порівняння прямого ступінчастого, LASSO та деяких варіантів LASSO, таких як розслаблений LASSO, а також кращий підмножина, і вони покажіть, що поетапно іноді краще, ніж LASSO. Хоча варіант LASSO - розслаблений LASSO - той, що дав найвищу точність прогнозування моделей за найширшого кола обставин. Висновок про те, що найкраще, багато в чому залежить від того, що ви вважаєте найкращим, наприклад, чи буде це найвища точність прогнозування або вибір найменших помилкових позитивних змінних.

Однак існує цілий зоопарк розріджених методів навчання, більшість з яких кращі за LASSO. Наприклад, є розслаблений LASSO , адаптивний LASSO та SCAD та MCP санкціонований регрес Мейхаузена, як це реалізовано в ncvregпакеті, які мають менший ухил, ніж стандартний LASSO, і тому переважніші. Крім того, якщо вас цікавить абсолютний найрідкіший розчин з найкращим показником прогнозування, тоді L0 пенізована регресія (також найкраща підмножина, тобто заснована на пеналізації nr ненульових коефіцієнтів на відміну від суми абсолютного значення коефіцієнтів у LASSO) краще, ніж LASSO, див. наприклад l0araпакет, який наближає L0 пенізованих GLM, використовуючи ітеративну процедуру адаптивного гребеня, і який на відміну від LASSO також дуже добре працює з дуже колінеарними змінними, і L0Learnпакет , який може вмістити L0 пенізовані регресійні моделі, використовуючи координатний спуск , потенційно в поєднанні з покаранням L2 для регуляції колінеарності.

Отже, щоб повернутися до свого первинного питання: чому б не використовувати LASSO для варіативного вибору? :

(1) через те, що коефіцієнти будуть сильно зміщеними, що покращується при розслабленій регресії LASSO, MCP та SCAD і повністю вирішується в пенізованій регресії L0 (яка має повну властивість оракул, тобто вона може вибирати як причинно-наслідкові змінні, так і відновити неупереджені коефіцієнти, також для p> n випадків)

(2) тому, що вона має тенденцію створювати більше помилкових позитивних результатів, ніж L0 пенізована регресія (у моїх тестах l0araнайкраще тоді, тобто ітеративний адаптивний гребінь, за яким слідує L0Learn)

(3) тому що він не може добре впоратися з колінеарними змінними (він би по суті просто випадковим чином обрав одну з колінеарних змінних) - ітераційний адаптивний гребінь / l0araта покарання L0L2 L0Learnнабагато краще справляються з цим.

Звичайно, загалом вам доведеться використовувати перехресну перевірку для налаштування параметрів регуляризації для отримання оптимальної продуктивності прогнозування, але це не проблема. І ви навіть можете робити високомірні умовиводи щодо своїх параметрів і обчислювати 95% довірчі інтервали на ваших коефіцієнтах, якщо вам подобається за допомогою непараметричного завантаження (навіть з урахуванням невизначеності щодо вибору оптимальної регуляризації, якщо ви робите перехресну перевірку також для кожного завантаженого набору даних , хоча це стає досить повільним).

Обчислювально LASSO не помітно повільніше, ніж поетапно наближається до btw, звичайно, ні, якщо використовується високооптимізований код, який використовує теплі, починає оптимізувати ваше регуляризацію LASSO (ви можете порівнювати себе, використовуючи fsкоманду для вперед покроково та lassoдля LASSO в bestsubsetпакеті). Той факт, що ступінчасті підходи все ще популярні, мабуть, має відношення до помилкової віри багатьох, що тоді можна просто зберегти остаточну модель і повідомити про пов'язані з нею значення p - що насправді робити не правильно, оскільки це не так враховуйте невизначеність, введену вашим вибором моделі, в результаті чого занадто оптимістичні значення p.

Сподіваюся, це допомагає?

Одне велике - це складність проведення тестування гіпотез. Ви не можете легко зрозуміти, які змінні є статистично значимими для Lasso. За допомогою поетапної регресії ви можете певною мірою зробити тестування гіпотез, якщо ви обережно ставитесь до багаторазового тестування.