Байєсівське ласо проти шипа та плити

Питання: Які переваги / недоліки використання одного попереднього над іншим для вибору змінної?

Припустимо, я маю ймовірність: де я можу поставити будь- який з пріорів:

у \sim N (Х ш, σ^{2} Я)

$y\sim\mathcal{N}(Xw,\sigma^2I)$

або:

ш_{i} \sim π δ_{0} + (1 - π) N (0, 100) π = 0,9,

$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$

ш_{i} \sim досвід (- λ | ш_{i} |) λ \sim Γ (1, 1) .

$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$

Я ставлю щоб підкреслити, що більшість ваг дорівнюють нулю, а гама до початку вибирає параметр «регуляризації». $\pi=0.9$ $\lambda$

Однак мій професор продовжує наполягати на тому, що версія ласо 'скорочує' коефіцієнти і насправді не робить належного перемінного вибору, тобто є надмірне зменшення навіть відповідних параметрів.

$\frac{1}{|w_i|}$

bayesian feature-selection

— сахінрук
джерело

Ваш професор правдивий, що це зменшує відповідні параметри, але що робити? Це зменшує їх лише настільки, що вони не сприяють суттєвому зменшенню помилок. І чому слід зосередитись на правильному виборі змінної? Чи не слід зосереджуватись на зменшенні (тестовій) помилки

— seanv507

З більшості проблем, я погодився б. Однак для деяких проблем (наприклад, виявлення раку з експресією генів) дуже важливо знайти, які особливості є чинниками. ps Я з тих пір перейшов з мого постдоку, оскільки він є дебілом. Машинне навчання ftw !!!

— sachinruk

Спайк і Слэб - це золотий стандарт у змінному виборі, і я також вважаю за краще працювати з LASSO. @Sachin_ruk: шип і плита попередньо можна реалізувати, використовуючи також Variational Bayes ...

— Сандіпан Кармакар

@SandipanKarmakar ви можете опублікувати посилання, що стосується шипа та плити з Варіаційними байесами.

— sachinruk

Ваше запитання об'єднує моделювання [що до цього?] Та впровадження [варіаційний Байєс] проблеми. Їх слід обробляти окремо.

— Сіань

Обидва ці методи (ЛАССО проти шипа та плити) можна інтерпретувати як проблеми Байєсової оцінки, де ви вказуєте різні параметри. Однією з головних відмінностей є те, що метод LASSO не ставить жодних точкових мас на нуль для попереднього (тобто параметри майже напевно не є нульовими апріорі), тоді як шип-і-плита ставить значну точкову масу на нуль.

На мою скромну думку, головна перевага методу шипових і плит полягає в тому, що він добре підходить для проблем, коли кількість параметрів перевищує кількість точок даних , і ви хочете повністю усунути значну кількість параметрів від моделі. Оскільки цей метод ставить велику точкову масу на нуль у попередньому, він дасть задні оцінки, які, як правило, включають лише невелику частку параметрів, сподіваємось уникнути зайвого пристосування даних.

Коли ваш професор каже вам, що колишній не виконує змінний метод вибору, він, мабуть, означає це. За LASSO кожен з параметрів майже напевно не є нульовим апріорі (тобто всі вони є в моделі). Оскільки ймовірність також не є нульовою для підтримки параметрів, це також буде означати, що кожен з них майже напевно є не нульовим апріорі (тобто всі вони є в моделі). Тепер ви можете доповнити це тестом гіпотези і таким чином відключити параметри з моделі, але це був би додатковий тест, накладений поверх байєсівської моделі.

Результати байєсівської оцінки будуть відображати внесок даних і внесок попереднього. Звичайно, попередній розподіл, який є більш тісно зосередженим навколо нуля (як шип і плита), дійсно «зменшить» оцінювачі параметрів, що виходять, порівняно з попереднім, який менш концентрований (як LASSO). Звичайно, це "скорочення" - це лише ефект попередньої інформації, яку ви вказали. Форма попереднього LASSO означає, що він скорочує всі оцінки параметрів у напрямку до середнього значення по відношенню до більш рівного попереднього.

— Бен - Відновлення Моніки
джерело