Стабільність перехресної валідації в байєсівських моделях

Я встановлюю байєсівський HLM в JAGS, використовуючи k-кратну перехресну перевірку (k = 5). Мені хотілося б знати, чи стабільні оцінки параметра у всіх складках. Який найкращий спосіб зробити це? $\beta$

Одна ідея полягає в тому, щоб знайти різниці постерів і побачити, чи 0 в 95% CI різниці. Іншими словами, 0 в 95% інтервалі (а потім повторити для всіх пар складок). $\beta$ $\beta_{k=1}-\beta_{k=2}$

Ще одна ідеї полягає в тому, щоб розглядати апостеріорні з кожної складки в вигляді різних ланцюжків MCMC, і обчислити Гельман коефіцієнт зменшення масштабу) через ці псевдо-ланцюга. $\hat{R}$

Чи є одна з таких кращих, і чи є альтернативи?

bayesian cross-validation

— Джек Таннер
джерело

Відчуваєш, чи є нуль серед достовірних різниць, оскільки напевно ти очікуєш, що між складками буде деяка різниця. Одним із пропозицій було б обчислити точкові оцінки

для кожної складки та переглянути їх поширення.

β

$\beta$

— Rasmus Bååth

Лише загальний коментар щодо перехресної перевірки та байєсівських питань: чому б не просто обчислити WAIC? Це асимптотично еквівалентно LOOCV, і ви все одно можете використовувати всі свої дані.

— Зрив рівноваги

Як би ви створили заднє моделювання

β_{k = 1} - β_{k = 2}

$\beta_{k=1}-\beta_{k=2}$

— Стефан Лоран

На наших тестах на моєму колишньому заводі нам довелося довести, що 0% втрат урожаю був у 95% ІС. Переважали питання адекватних, незалежних зразків та характеру біноміального тесту. Чи можете ви дати уявлення, якими є ваші розміри вибірки?

— EngrStudent

Відповіді:

Я не знаю, чи кваліфікується це як коментар чи відповідь. Я закладаю сюди, бо це відчуває відповідь.

У перехресній валідації k-кратно ви розділяєте свої дані на k групи. Якщо ви охоплюєте навіть «основи», то ви рівномірно вибираєте членів для кожного з k бункерів.

Коли я кажу про дані, я вважаю кожен рядок як зразок, а кожен стовпець як вимір. Я звик використовувати різні методи для визначення змінної важливості, важливості стовпців.

Що робити, якщо ви, як мисляча вправа, відійшли від «підручника» єдиного випадкового випадку і визначили, які рядки важливі? Можливо, вони інформують про одну змінну за один раз, але, можливо, вони інформують більше. Чи є ряд рядків, які менш важливі, ніж інші? Можливо, багато пунктів є інформативними, можливо, мало.

Знаючи важливість змінних, можливо, ви могли б їх порівнювати за важливістю. Можливо, ви могли б зробити єдиний контейнер з найважливішими зразками. Це може визначити розмір вашого "k". Таким чином, ви б визначали "найбільш інформативне" kth відро і порівнювали його з іншими, і з найменш інформативним.

Це може дати вам уявлення про максимальну зміну параметрів вашої моделі. Це лише одна форма.

Другий спосіб розділення к-тів відро - за величиною та напрямком впливу. Таким чином, ви можете помістити зразки, що коливають параметр або параметри в одному напрямку, в одне відро і помістити зразки, які коливають той же параметр або параметри в протилежному напрямку, в інше відро.

Зміна параметрів у цій формі може дати ширший аналіз змінних, що базується не на щільності інформації, а на інформаційній породі.

Удачі.

— EngrStudent - Відновлення Моніки
джерело

Це може бути не повною відповіддю, але якщо 0 НЕ в 95% ІС за кількома відмінностями, то цілком сміливо можна сказати, що вони не однакові на рівні 0,05.

— Денніс Джахеруддін
джерело