Які мінуси байєсівського аналізу?


44

Які практичні заперечення щодо використання байєсівських статистичних методів у будь-якому контексті? Ні, я не маю на увазі звичайний догляд за вибором попереднього. Я буду радий, якщо на це не надійде відповідей.


5
Питання оформлено нормально, але коментарі підходять до лінії аргументації і загрожують перекинутися на неправильну сторону цієї лінії. Будьте уважні ... тут не місце для таких дискусій. Створіть чат, якщо ви хочете це зробити.
whuber

Відповіді:


40

Я збираюся дати тобі відповідь. Фактично чотири недоліки. Зауважте, що жодне з цих насправді не є запереченнями, які повинні привести один до одного до періодичного аналізу, але є бажання дотримуватися байєсівських рамок:

  1. Вибір попереднього. Це звичайний догляд за причиною, хоча в моєму випадку це не звичайні "пріори суб'єктивні!" але те, що придумати попереднє, що є досить аргументованим і фактично представляє вашу найкращу спробу узагальнити попереднє, - це велика робота у багатьох випадках. Наприклад, ціль моєї дисертації може бути підсумована як "пріоритетні оцінки".
  2. Це обчислювально інтенсивно. Особливо для моделей, що включають багато змінних. Для великого набору даних, що оцінюється багатьма змінними, це може бути надзвичайно обчислювально обчислювальним, особливо в певних обставинах, коли дані не можуть бути легко перекинуті на кластер тощо. Деякі способи вирішення цього питання, як-от доповнені дані, а не MCMC, є дещо теоретично складними, принаймні, для мене.
  3. Задні розподіли дещо складніше включити в метааналіз, якщо тільки не наводиться частотистський параметричний опис розподілу.
  4. Залежно від того, для якого журналу призначений аналіз, або використання Байєса взагалі, або ваш вибір пріорів, дає вашій роботі трохи більше балів, де рецензент може заглибитись у неї. Деякі з них є обґрунтованими запереченнями рецензентів, але деякі якраз випливають із природи Байєса та того, наскільки знайомі люди в деяких галузях.

Жодне з цих речей не повинно вас зупинити. У самому справі, жодна з цих речей не зупинив мене, і , сподіваюся , робити аналіз байєсівського допоможе вирішити по крайней мере , номер 4.


2
# 1, це в ідеалі має бути аналіз першого етапу. В мистецтві освітлений огляд. У науках - кількісний огляд. Байєси не повинні вибачатися з цього приводу. ЯКЩО freqs підходять до даних так, ніби вони Адам і Єва - добре. 1-й розділ моєї докторської філософії - це метааналіз (хоча і частість). Саме так і має бути. # 2 Закон Мура, я знайшов коротке обговорення на базі XKCD з місцевою групою обчислювальних технологій високої продуктивності. # 3 Мета-аналіз смокче в будь-якому випадку. Я б прихильний до обов'язкового прокату мега-аналізу, іншими словами - надайте свої дані під час публікації.
rosser

7
@rosser Кілька думок. №1. Справді, має бути світлий огляд, і так, це має бути першим кроком. Але для правильного байєсівського аналізу, який контролює заплутаність належним чином, потрібен повний кількісний огляд кожної змінної, яка повинна бути включена в модель. Це не маленьке завдання. №2. Залежно від закону Мура - погана ідея. По-перше, останні досягнення були досягнуті здебільшого в багатоядерних системах / GPU. Для цього потрібне програмне забезпечення, написане для нього, та проблеми, які отримують від паралельної обробки. Єдина модель GLM, виконана з MCMC, може бути не такою.
Проти

6
@rosser, а з HPC можуть бути випадки, це не обов'язково відповідь. Наприклад, я працюю в областях, де угоди про використання даних тощо, часто запобігають збереженню даних на речах, крім надзвичайно захищених систем. Місцевий кластер ... це не так. І врешті-решт, Закон Мура настільки ж хороший, як і ваш апаратний бюджет великий. Що стосується №3 та метааналізу, то я, як правило, не погоджуюся, але поза цим, це залишається проблемою до тих пір, поки цілком відкрита система даних не стане нормою.
Фоміт

Добре, я завищив №3. Але скільки різниці має ваш попередній показник ВСЯКОГО ПРЕДМАТЕЛЯ на результат? srsly? Чи показує аналіз чутливості величезні відмінності?
rosser

1
@Rosser Це, швидше за все, залежить від характеру вашого передбачувача та його відношення до впливу та результату. Але для того, щоб зробити аналіз чутливості, хтось повинен мати пріоритет для всіх цих змінних. Можливо, я додам це як бік моєї дисертації. Я також вважаю, що кооптування сили Байєса, але припускаючи неінформативні пріорі щодо змінних, де "я не можу потрудитися це з'ясувати" дещо проблематично.
Фоміт

16

Я байесист за нахилом, але взагалі частою практикою. Причиною цього зазвичай є те, що правильне виконання повного байєсівського аналізу належним чином (а не, наприклад, рішення MAP) для тих типів проблем, які мене цікавлять, є складним та обчислювально інтенсивним. Часто потрібен повний байєсівський аналіз, щоб реально побачити вигоду від такого підходу над частоевістськими еквівалентами.

Для мене компроміс - це в основному вибір між байєсівськими методами, які є концептуально елегантними та легко зрозумітими, але важкими для впровадження на практиці та методами частолістської діяльності, які є концептуально незграбними та тонкими (спробуйте пояснити, як правильно інтерпретувати тест гіпотези або чому немає 95% ймовірності того, що справжня цінність лежить у 95% довірчому інтервалі), але вони цілком підходять для легко реалізованих рішень "кулінарної книги".

Коні на курси.


11

З чисто практичної точки зору я не є прихильником методів, які вимагають багато обчислень (я маю на увазі пробовідбірник Гіббса та MCMC, які часто використовуються в байєсівських рамках, але це стосується, наприклад, прийомів завантажувальної техніки у періодичному аналізі). Причина полягає в тому, що будь-яка налагодження (тестування впровадження, перегляд надійності щодо припущень тощо ) сама по собі вимагає купу моделювання Монте-Карло, і ви швидко потрапляєте в обчислювальну суть. Я вважаю за краще, щоб основні методи аналізу були швидкими та детермінованими, навіть якщо вони є лише приблизними.

Звичайно, це суто практичне заперечення: якщо нескінченно обчислювати ресурси, це заперечення зникне. І це стосується лише підмножини байєсівських методів. Крім того, це більше перевагу, враховуючи мій робочий процес.


1
Поки я чую 1. Закон Мура, 2. Важка праця +/- терпіння і 3. Незнання. Слід сказати, що жодне з них не є переконливим. Байєсу здається такою парадною парадигмою. Наприклад ... чому не проаналізували дослідження GWAS a-la Bayes. Чи могли вони перешкодити викидати 99,999% даних?
rosser

1
І навпаки: MCMC може навчити писати швидший код та вчитися з болю очікування завершення моделювання. Це був мій досвід моделювання: якщо це триватиме тривалий час, я можу отримати користь від того, як швидше зробити код.
Ітератор

9

Іноді існує просте і природне "класичне" рішення проблеми, і в цьому випадку фантазійний метод Байєса (особливо з MCMC) був би надмірним.

Крім того, у проблемах типу змінного вибору може бути більш зрозумілим і зрозумілим розглянути щось на кшталт пеніалізованої ймовірності; на моделях може існувати пріоритет, що дає еквівалентний байєсівський підхід, але як попередній відповідає кінцевій продуктивності, може бути менш зрозумілим, ніж взаємозв'язок між штрафом та виконанням.

Нарешті, методи MCMC часто вимагають експерта як для оцінки конвергенції / змішування, так і для осмислення результатів.


9

Я відносно новий в байєсівських методах, але одне, що мене дратує, це те, що я розумію обґрунтування пріорів (тобто наука - це сукупне починання, тому для більшості питань є деякий обсяг попереднього досвіду / мислення, який повинен повідомити ваші інтерпретація даних), мені не подобається, що байєсівський підхід змушує вас підштовхувати суб'єктивність до початку аналізу, перетворюючи на кінцевий результат контингент. Я вважаю, що це проблематично з двох причин: 1) деякі менш добре розбираються читачі навіть не звертають уваги на пріорів і інтерпретують результати Байєса як непередбачувані; 2) якщо наявні необроблені дані, читачам важко переробити результати у своїх суб'єктивних пріоріях. Ось чому я віддаю перевагу співвідношенням ймовірності,

(Проникливі критики відзначають, що навіть коефіцієнт ймовірності є "умовним" в тому сенсі, що він залежить від параметризації моделей, що порівнюються; однак це особливість, якою поділяються всі методи, частота, байесівська та вірогідність)


9
Протилежна проблема частістської статистики полягає в тому, що суб'єктивність є, але вона взагалі не згадується. (Практична) проблема з коефіцієнтами ймовірності полягає в тому, що вони засновані на оптимізації ймовірності, а отже, ігнорують той факт, що можуть бути інші рішення з ймовірністю лише трохи менше. Саме тут корисний фактор Байєса. Але це завжди «коні на курси».
Дікран Марсупіал

6

Теорія рішень - основна теорія, на якій працює статистика. Проблема полягає у пошуку хорошої (у певному сенсі) процедури отримання рішень із даних. Однак рідко є однозначний вибір процедури, з точки зору мінімізації очікуваних збитків, тому для вибору серед них потрібно застосовувати інші критерії. Вибір процедур, які Баєс щодо деяких попередніх, є одним із цих критеріїв, але він не завжди може бути таким, яким ви хочете. Мінімакс може бути важливішим у деяких випадках або неупередженим.

Той, хто наполягає на тому, що часто відвідувачі неправі, чи байєзці, чи неправильно, в основному виявляють своє незнання статистики.


5

Деякий час я хотів більше навчити себе байєсівським підходам до моделювання, щоб подолати своє коротке розуміння (я зашифрував пробовідбірників Гіббса в аспірантурі, але ніколи не робив нічого реального). По дорозі, хоча я вважав, що деякі документи Брайана Денніса хоч і провокують, і я хотів, щоб я міг знайти друга Байєса (тих, хто не був у шафі), щоб прочитати папери і почути їхні контрапункти. Отже, ось документи, про які я говорю, але цитата, яку я завжди пам’ятаю, є

Бути Байєсієм означає ніколи не говорити, що ти помиляється.

http://facturing.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf


1
Перший документ (не читав другого) здається більш детальним про те, як Баєс практикується проти теорії. На практиці моделі не перевіряються настільки строго, як слід, але теоретично байесівська статистика має чудові засоби перевірки моделей, які називаються "доказом" Джейнеса, що втілено в знаменнику P (D | модель) правила Байєса. З його допомогою ви можете порівняти доречність моделей, що можна зробити лише емпіричним шляхом у періодичній статистиці. Проблема, звичайно, полягає в тому, що докази важко обчислити, тому більшість людей ігнорує це і вважає, що заднє є найважливішим фактором (продовженням)
cespinoza

2
пт. 2 Спробуйте googling "skilling вкладений вибірки", і ви знайдете документ про метод MCMC для обчислення доказів. (Є й інші методи перевірки моделей, що не ґрунтуються на доказах: Гельман перевіряє свої моделі шляхом відбору проб із заднього передбачення та порівнюючи це (візуально чи іншим чином) з фактичними даними. простір самих моделей маргіналізувати. Ще одна річ, яку ми можемо побачити на горизонті, - непараметричні заливи, які вирішують проблему, дозволяючи набагато ширший спектр моделей, ніж традиційні параметричні моделі.
cespinoza

5
Також я пропоную вам поглянути на videolectures.net/mlss09uk_jordan_bfway Майкла І. Джордана, професора Берклі, який досить врівноважений у своїх поглядах на передбачуваний Байес проти Фрека. "війна". Я не можу реально коментувати другу половину першої статті, не знаю жодної екологічної літератури. Другу я прочитаю пізніше.
cespinoza

1
@cespinoza: Я думав про це по дорозі на роботу. У газеті йдеться про те, що баєс ніколи не буде дивитись на залишки (тобто порівнювати вихід моделі з фактичними даними), і, можливо, наполегливий байєсів може принципово ухилитися від цього, але такі практикуючі, як Гельман, звичайно, порівнюють вихід моделі (передбачувану задню) з фактичними даними. Я не знаю достатньо, щоб піти далі, але моє враження від паперів таке, що вони встановлюють "в принципі" солом'яних чоловіків для нападу.
Уейн

1
Просто додайте, що байєсець, який не перевіряє залишки, - поганий статистик. Зазвичай метод Байєса використовується з "грубою та готовою" моделлю та попередньою. Перевірка залишків - це один із способів зрозуміти, чи достатньо ви знань щодо попередньої та моделі. Це іде рука об руку, щоб перевірити, які теоретичні особливості вашої моделі та попередні
ймовірністьлогічний

5

Які відкриті проблеми байєсівської статистики з квартального розсилку бюлетенів ISBA 5 проблем із байєсівською статистикою різних лідерів у цій галузі, №1, що досить нудно, "Вибір моделі та тестування гіпотез".


3
Чому нудно ?! Це одне з найчастіших застосувань статистичних методів.
Сіань
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.