Вибір моделі Баєса і надійний інтервал

У мене є набір даних із трьома змінними, де всі змінні є кількісними. Нехай називаємо це , та . Я підганяю регресійну модель в байєсівській перспективі через MCMC$y$$x_1$$x_2$rjags

Я зробив дослідницький аналіз, і розсіювання дозволяє припустити використання квадратичного терміна. Тоді я прилаштував дві моделі$y\times x_2$

(1)$y=\beta_0+\beta_1*x_1+\beta_2*x_2$

(2)$y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2$

У моделі 1 розмір ефекту кожного параметра не малий, а 95% достовірний інтервал не містить значення .$0$

У моделі 2 розмір ефекту параметрів та невеликий, і кожен з достовірних інтервалів для всіх параметрів містить .$\beta_3$$\beta_4$$0$

Той факт, що достовірний інтервал містить , достатньо, щоб сказати, що параметр не є значущим?$0$

Потім я скоригував таку модель

(3)$y=\beta_0+\beta_1*x_1+\beta_2*x_2+\beta_3*x^2_2$

Розмір ефекту кожного параметра не малий, але за винятком всі достовірні інтервали містять .$\beta_1$$0$

Який правильний спосіб зробити змінний вибір у байєсівській статистиці?

EDIT: Я можу використовувати Лассо в будь-якій регресійній моделі, як Beta модель? Я використовую модель зі змінною дисперсією, де де - вектор. Я також повинен використовувати Laplace попередньо в ?

EDIT2: Я встановив дві моделі: одну з апріорі Гаусса для , та одну з Лапласа (подвійний показник).$\beta_j$$\delta_j$

Оцінки для Гауссової моделі є

            Mean      SD  Naive SE Time-series SE
B[1]     -1.17767 0.07112 0.0007497      0.0007498
B[2]     -0.15624 0.03916 0.0004128      0.0004249
B[3]      0.15600 0.05500 0.0005797      0.0005889
B[4]      0.07682 0.04720 0.0004975      0.0005209
delta[1] -3.42286 0.32934 0.0034715      0.0034712
delta[2]  0.06329 0.27480 0.0028966      0.0028969
delta[3]  1.06856 0.34547 0.0036416      0.0036202
delta[4] -0.32392 0.26944 0.0028401      0.0028138

Оцінки для моделі Лассо є

              Mean      SD  Naive SE Time-series SE
B[1]     -1.143644 0.07040 0.0007421      0.0007422
B[2]     -0.160541 0.05341 0.0005630      0.0005631
B[3]      0.137026 0.05642 0.0005947      0.0005897
B[4]      0.046538 0.04770 0.0005028      0.0005134
delta[1] -3.569151 0.27840 0.0029346      0.0029575
delta[2] -0.004544 0.15920 0.0016781      0.0016786
delta[3]  0.411220 0.33422 0.0035230      0.0035629
delta[4] -0.034870 0.16225 0.0017103      0.0017103
lambda    7.269359 5.45714 0.0575233      0.0592808

У estimatives для і зменшений багато в моделі Lasso, це означає , що я повинен видалити ці змінні з моделі?$\delta_2$$\delta_4$

EDIT3: Модель з подвійним експоненціальним попереднім (Лассо) дає мені більші значення Девіантності, BIC та DIC, ніж модель з Гауссовими пріорами, і я навіть отримую менші значення після зняття коефіцієнта дисперсії в гауссовій моделі.$\delta_2$

Добре відомо, що побудувати модель на основі того, що є суттєвим (або яким-небудь іншим критерієм, таким як AIC, чи достовірний інтервал містить 0 і т.д.), є досить проблематичним, особливо якщо ви робите висновок так, як ніби ви не робили побудови моделі. Проведення байєсівського аналізу цього не змінює (див. Також https://stats.stackexchange.com/a/201931/86652 ). Тобто ви не повинні робити вибір змінних, а скоріше моделювання усереднення (або щось, що може отримати вам кілька нульових коефіцієнтів, але відображає весь процес моделювання, наприклад, LASSO або еластична сітка).

Вибір байесівської моделі більш типово ображений як усереднення байесівської моделі. У вас різні моделі, кожна з яких відрізняється попередньою ймовірністю. Якщо ймовірність задньої моделі для моделі стає досить низькою, ви по суті повністю відмовляєтесь від моделі. Для рівних попередніх ваг для кожної моделі та плоских пріорів, модель усереднення з вагами, пропорційними$\exp(-\text{BIC}/2)$ для кожної моделі це приблизно.

Можна альтернативно виразити усереднення моделі як попереднє, що є сумішшю між точковою масою (вага точкової маси - це попередня ймовірність ефекту, що точно дорівнює нулю = ефекту немає в моделі) та безперервного розподілу (наприклад, шиповидні та плитні пріори). Відбір проб MCMC може бути досить важким для такого попереднього.

Карвальо та ін. попередньо мотивуйте усадку підкови, запропонувавши, що вона працює як суцільне наближення до шип-плити до цього. Це також випадок вбудовування проблеми в ієрархічну модель, де певною мірою розмір та наявність ефектів на деякі змінні трохи послаблюють необхідні докази для інших (через глобальний параметр усадки це трохи нагадує помилкове виявлення контроль швидкості), а з іншого боку дозволяють окремим ефектам самостійно діяти, якщо докази є досить ясними. Є зручна його реалізація, доступна з пакету brms R, який базується на Stan / rstan . Існує ряд інших подібних пріоритетів, таких як підкова + попередня, і вся тема - це область постійних досліджень.

Існує ряд формальних методів вибору змінної Байєса. Дещо застарілий огляд методів відбору байесівських змінних представлений у:

Огляд методів вибору змінних Баєса: що, як і що

Більш недавній огляд, який також включає порівняння різних методів та продуктивності R-пакетів, де вони реалізовані:

Методи та інструменти для вибору варіантів байесівських змінних та моделювання усереднення в універсальній лінійній регресії

Ця посилання особливо корисна тим, що вона вказує на конкретні пакети R, де вам просто потрібно підключити відповіді та значення коваріату (а в деяких випадках і значення гіперпараметра), щоб запустити вибір змінної.

Інший, швидкий і брудний і нерекомендуваний спосіб проведення вибору змінної "Баєса" - це використання поетапного вибору (вперед, назад, обидва), використовуючи BIC і R-команду stepAIC (), яку можна налаштувати для виконання вибору з точки зору BIC.

https://stat.ethz.ch/R-manual/R-devel/library/MASS/html/stepAIC.html

Ще один швидкий і брудний спосіб тестування $\beta_4=0$ це за допомогою співвідношення щільності Savage-Dickey та заднього моделювання, яке ви вже отримали:

https://arxiv.org/pdf/0910.1452.pdf

Вся ідея байєсівської статистики відрізняється від частолістського підходу. Таким чином, я думаю, що використання значущих термінів не є точним. Я думаю, що читач повинен вирішити, чи будуть результати (розподіл), які ви отримаєте від вашої моделі, для своїх$β$є для нього надійними або довірливими. Це завжди залежить від самого розподілу. Наскільки це перекошене і широке і яка частина площі нижче нуля?

Ви також можете знайти приємну лекцію з цієї теми тут за 41:55:

https://vimeo.com/14553953