Коли (якщо взагалі колись) парафіністський підхід істотно кращий, ніж байєсівський?

Передумови : Я не маю офіційної підготовки з байєсівської статистики (хоча мені дуже цікаво дізнатися більше), але я знаю достатньо - я думаю - щоб зрозуміти, чому багато хто відчуває, що вони вважають за краще статистика часто. Навіть магістранти у вступному класі статистики (соціальних наук), який я навчаю, вважають байєсівський підхід привабливим - "Чому нас цікавить обчислення ймовірності даних, враховуючи нуль? Чому ми не можемо просто оцінити ймовірність ? нульова гіпотеза або альтернативна гіпотеза І я також читав теми , як ці , які свідчать про емпіричних переваг байєсівської статистики, а Але потім я натрапив на цю цитату на Бласко (2001; курсив додано) .:

Якщо тваринник не цікавиться філософськими проблемами, пов'язаними з індукцією, а інструментами для вирішення проблем, як байєсівська, так і частолістська школи виводу є добре встановленими, і не потрібно обґрунтовувати, чому віддається перевага тієї чи іншої школи. Жоден з них зараз не має операційних труднощів, за винятком деяких складних випадків ... Вибір однієї школи чи іншої повинен бути пов'язаний з тим, чи є в одній школі рішення, які інша не пропонує , як легко вирішити проблеми. та наскільки комфортно себе почуває вчений з конкретним способом вираження результатів.

Питання : Цитата Бласко, здається, дозволяє припустити, що можуть бути випадки, коли часто підхід часто є переважнішим до байєсівського. І тому мені цікаво: коли б частолістський підхід був кращим перед байєсівським підходом? Мене цікавлять відповіді, які вирішують це питання як концептуально (тобто, коли відомо про ймовірність даних, зумовлених особливо нульовою гіпотезою?), Так і емпірично (тобто, за яких умов методи частотознавства переважають проти байєсівських?).

Було б також бажано, якби відповіді були передані якомога доступніше - було б непогано взяти відповіді до свого класу, щоб поділитися з учнями (хоча я розумію, що потрібен певний рівень технічності).

Нарешті, незважаючи на те, що я є постійним користувачем статистики частотних лікарів, я фактично відкритий до можливості, що Байесіан просто перемагає у всьому світі.

Ось п’ять причин, через які можна віддавати перевагу методам ветеринарів:

• Швидше. Зважаючи на те, що байєсівські статистичні дані часто дають майже однакові відповіді на відповіді частолістів (а коли їх немає, не на 100% зрозуміло, що Баєсіан - це завжди шлях), той факт, що частофілістичну статистику можна отримати часто на кілька порядків швидше, це сильний аргумент. Точно так само часто-методи не потребують стільки пам’яті для зберігання результатів. Хоча це може здатися дещо тривіальним, особливо з меншими наборами даних, той факт, що Bayesian і Frequentist, як правило, погоджуються в результатах (особливо якщо у вас є багато інформативних даних) означає, що якщо ви збираєтесь піклуватися, ви можете почати дбати про менш важливе речі. І звичайно, якщо ви живете у світі великих даних, це зовсім не банально.

• Непараметрична статистика. Я усвідомлюю, що баєсівська статистика має непараметричну статистику, але я заперечую, що частофілістська сторона поля має деякі справді незаперечно практичні інструменти, такі як функція емпіричного розподілу. Жоден у світі метод ніколи не замінить ЕРД, ані криві Каплана Мейєра тощо (хоча очевидно, що це не означає, що ці методи є кінцем аналізу).

• Менша діагностика. Методи MCMC - найпоширеніший метод підгонки байєсівських моделей, як правило, вимагають більше роботи від користувача, ніж їх частість. Зазвичай діагностика для оцінки MLE настільки проста, що будь-яка хороша реалізація алгоритму зробить це автоматично (хоча це не означає, що кожна наявна реалізація хороша ...). Отже, часто-алгоритмічна діагностика, як правило, "переконайтесь, що немає червоного тексту під час встановлення моделі". Зважаючи на те, що всі статистики мають обмежену пропускну здатність, це звільняє більше часу для запитань на кшталт "чи мої дані дійсно приблизно нормальні?" або «ці небезпеки дійсно пропорційні?», і т.д.

• Дійсний умовивід при неправильній специфікації моделі. Всі ми чули, що "Усі моделі помиляються, але деякі є корисними", але різні сфери досліджень сприймають це більш-менш серйозно. У літературі про частоту лікарів повно методів фіксації умовиводу, коли модель не визначена: оцінка завантажувача, крос-валідація, сендвіч-оцінювач (посилання також обговорює загальний висновок MLE при неправильній специфікації моделі), узагальнені рівняння оцінки (GEE), квазіімовірнісні методи, і т.д. Наскільки я знаю, в літературі Байєса дуже мало про умовиводи при неправильній специфікації моделі (хоча там дуже багато дискусій щодо перевірки моделі, тобто задніх прогнозних перевірок). Я не думаю, що це випадково: для оцінки поведінки оцінювача під час повторних випробувань не потрібно, щоб оцінювач базувався на "справжній" моделі, але використовуючи теорему Байєса!

• Свобода від попереднього (це, мабуть, найпоширеніша причина того, чому люди не використовують баєсовські методи для всього). Сила байєсівської точки зору часто рекламується як використання пріорів. Однак у всіх застосованих галузях, над якими я працював, ідея інформативної до початку аналізу не враховується. Читання літератури про те, як отримати пріорі у нестатистичних експертів, дає вагомі міркування для цього; Я читав документи, які говорять про такі речі (жорстока людина з соломи, як перефразовування моєї власної) "Попросіть дослідника, який найняв вас, тому що у них є проблеми з розумінням статистики, щоб дати діапазон, що вони на 90% впевнені, розмір ефекту, який вони мають проблеми уявити, буде Цей діапазон, як правило, занадто вузький, тому довільно намагайтеся змусити їх трохи розширити його. Поцікавтеся, чи їхня віра схожа на розподіл гамми. Ймовірно, вам доведеться намалювати для них гамма-розподіл і показати, як він може мати важкі хвости, якщо параметр форми невеликий. Це також передбачає пояснення, що таке PDF у них. "(Зауважте: я не думаю, що навіть статистики не в змозі точно сказатиапріорі , на 90% чи 95% визначено, чи лежить розмір ефекту в діапазоні, і ця різниця може суттєво впливати на аналіз!). Правду кажучи, я дуже недобрий, і можуть виникнути ситуації, коли вилучення попереднього може бути трохи простішим. Але ви можете бачити, як це банка з глистами. Навіть якщо ви переходите на неінформативні пріори, це все одно може бути проблемою; при перетворенні параметрів те, що легко помиляється на неінформативні пріори, раптом можна розглядати як дуже інформативне! Іншим прикладом цього є те, що я говорив з кількома дослідниками , які вперто робити НЕХочете почути, що таке інтерпретація даних іншого експерта, оскільки емпірично інші експерти, як правило, надто впевнені. Вони краще просто знати, що можна зробити з даних інших експертів, а потім прийдуть до власного висновку. Я не можу пригадати, де я це чув, але десь я читав фразу "якщо ти баєц, ти хочеш, щоб усі були часто". Я тлумачу це так, щоб теоретично це означало, що якщо ви баєсець і хтось описує результати їх аналізу, спершу слід спробувати усунути їх попередній вплив, а потім з'ясувати, який би вплив був, якби ви використовували свій власний. Цю маленьку вправу було б спрощено, якби вони дали вам довірчий інтервал, а не надійний інтервал!

Звичайно, якщо відмовитися від інформативних пріорів, у баєсівських аналізах все ще є корисність. Особисто в цьому я вважаю, що їхня найвища корисність лежить; Є деякі проблеми, на які вкрай важко отримати відповідь, використовуючи методи MLE, але їх можна легко вирішити за допомогою MCMC. Але мій погляд на це, як найвища корисність Байесія, обумовлений сильними пріорами з мого боку, тому прийміть це із зерном солі.

Кілька конкретних переваг частотистської статистики:

• Часто є проблеми закритої форми, коли часто виникають проблеми, тоді як вам потрібен кон'югат, перш ніж мати рішення закритої форми в аналозі Байєса. Це корисно з ряду причин - одна з яких - час обчислення.
• Причина, яка, сподіваємось, врешті-решт піде: миряни викладають статистику відвідувачів. Якщо ви хочете, щоб вас зрозуміли багато, вам потрібно говорити часто.
• Підхід «Невинного, поки не доведена винність», підхід до перевірки значущості гіпотези (NHST) є корисним, коли мета - довести, що хтось помилився (я буду вважати за своє право і показувати, що переважні дані підказують, що ви неправі). Так, є аналоги NHST у Bayesian, але я вважаю, що версії для ветеринарів набагато простіші та зрозуміліші.
• Немає такого поняття, як справді неінформативний пріоритет, який робить деяких людей незручними.

Найважливішою причиною використання частотологічних підходів, про які досі не було сказано, є контроль помилок. Дуже часто дослідження призводять до дихотомічних інтерпретацій (чи слід робити дослідження на цьому, чи ні? Потрібно впровадити втручання, чи ні?). Часті підходи дозволяють вам суворо контролювати рівень помилок типу 1. Байєсівські підходи не мають (хоча деякі успадковують універсальне обмеження від вірогідних підходів, але навіть тоді частота помилок може бути досить високою у малих зразках та при відносно низьких порогових рівнях доказів (наприклад, BF> 3). Ви можете вивчити частотні властивості Фактори Байєса (див., Наприклад, http://papers.ssrn.com/sol3/papers.cfm?abrief_id=2604513), але це все ще підхід часто. Думаю, дуже часто дослідників цікавить більше контроль над помилками, ніж про кількісну оцінку доказів як такої (стосовно якоїсь конкретної гіпотези), і я думаю, щонайменше, кожен переймається контролем помилок певною мірою, і тому два підходи слід використовувати комплементарно.

Я думаю, що одним із найбільших питань, як статистики, ви повинні задати собі питання, чи вірите ви чи не хочете дотримуватися принципу ймовірності. Якщо ви не вірите в принцип ймовірності, то я вважаю, що періодична парадигма статистики може бути надзвичайно потужною, однак, якщо ви вірите в принцип ймовірності, то (я вважаю) вам, безумовно, доведеться підтримувати байєсівську парадигму в не порушувати його.

---

Якщо ви не знайомі з нею, про це говорить принцип імовірності:

Принцип ймовірності : При прийнятті висновків чи рішень щодопіслядотриманнядеяких данихвся відповідна експериментальна інформація міститься у функції ймовірності : девідповідає спостережуваним даним і таким чином фіксується.$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

Крім того, якщо і - дві вибіркові точки, такі що пропорційна , тобто , існує константа така, що$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

то висновки, зроблені з та повинні бути однаковими. \$\mathbf{x}$$\mathbf{y}$

Зауважте, що константа вище може бути різною для різних пар але не залежить від .$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

У спеціальному випадку Принцип ймовірності стверджує, що якщо дві вибіркові точки приводять до тієї ж функції ймовірності, вони містять ту саму інформацію про . Але Принцип ймовірності йде далі. У ньому йдеться про те, що навіть якщо дві вибіркові точки мають лише пропорційну ймовірність, вони містять еквівалентну інформацію про .θ $C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Тепер одним із малюнків байєсівської статистики є те, що при належних пріорах байєсівська парадигма ніколи не порушує принцип ймовірності. Однак існують дуже прості сценарії, коли парадигма частістів порушує принцип ймовірності.

Ось дуже простий приклад, заснований на тестуванні гіпотез. Розглянемо наступне:

Розглянемо експеримент, де було проведено 12 випробувань Бернуллі та 3 успіху. Залежно від правила зупинки, ми могли б охарактеризувати дані як наступні:

• Біноміальний розподіл: та дані:x = $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• Негативний біноміальний розподіл: та дані:y = $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

Таким чином, ми отримаємо такі функції ймовірності: що означає, що і, таким чином, за принципом ймовірності, ми повинні отримати однакові умовиводи про з будь-якої ймовірності.

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Тепер уявіть собі тестування наступних гіпотез з парадигми

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Для біноміальної моделі маємо наступне:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Зауважте, що але інші умови не задовольняють принципу ймовірності.$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

Для негативної біноміальної моделі маємо наступне:

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

З наведених вище розрахунків p-значення ми бачимо, що в біноміальній моделі ми не відхилити але використовуючи негативну біноміальну модель, ми би відхилили . Таким чином, навіть якщо є p-значення, і рішення, засновані на цих p-значеннях, не збігаються. Цей аргумент p-значення є одним із часто використовуваних байєсами проти використання частот p-значень.$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

Тепер розглянемо ще раз тестування наступних гіпотез, але з байєсівської парадигми

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Для біноміальної моделі маємо наступне:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Аналогічно для негативної біноміальної моделі маємо наступне:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Тепер, використовуючи байєсівські правила рішення, виберіть якщо (або якийсь інший поріг), і повторіть аналогічно .$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

Однак і таким чином ми приходимо до той самий висновок, і таким чином цей підхід задовольняє Принципу ймовірності.$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

І тому на закінчення моїх суперечок, якщо ви не переймаєтесь принципом ймовірності, то бути частолюбивим - це чудово! (Якщо ви не можете сказати, я баєць :))

Ми з вами і вчені, і як вчені, головним чином зацікавлені у питаннях доказів. З цієї причини, я вважаю, що Баєсові підходи, коли це можливо, є кращими.

Байєсівські підходи відповідають на наше запитання: Яка сила доказів однієї гіпотези щодо іншої? З іншого боку, підходи, що часто використовуються лікарями, не роблять: вони повідомляють лише про те, чи дивні дані за однієї гіпотези.

Однак, Ендрю Гелман, помітний Байесіан, схоже, підтримує використання p-значень (або p-значення, подібних графічним чекам) як перевірку на помилки в специфікації моделі. Ви можете побачити натяк на такий підхід у цій публікації блогу .

Як я розумію, його підхід є чимось на зразок двоступеневого процесу: спочатку він задає байєсівське питання, що є свідченням однієї моделі над іншою. По-друге, він задає частотологу питання про те, чи бажана модель насправді виглядає всіма правдоподібними з огляду на дані. Мені це здається розумним гібридним підходом.

Особисто мені важко думати про ситуацію, коли частість відповіді була б кращою перед байєсівською. Моє мислення детально описано тут та в інших статтях у блозі на fharrell.com про проблеми з p-значеннями та нульовим тестуванням гіпотез. Часто фахівці ігнорують декілька фундаментальних проблем. Ось лише зразок:

• Поза гауссової лінійної моделі з постійною дисперсією та кількох інших випадків обчислені p-значення невідомої точності для вашого набору даних та моделі
• Коли експеримент є послідовним або адаптивним, часто трапляється так, що p-значення навіть не можна обчислити, і можна встановити лише загальний рівень для досягнення$\alpha$
• Часто користувачі, здається, не дозволяють помилці I типу опуститись нижче, скажімо, 0,05 незалежно від того, чи зростає розмір вибірки
• Не існує частофілістського припису того, як формуються виправлення множинності, що призводить до спеціальних методів ходж-подге

Щодо першого пункту, одна поширена модель - це двійкова логістична модель. Ймовірність його журналу дуже квадратична, і переважна більшість довірчих меж та p-значень, обчислених для таких моделей, не дуже точні. Порівнюйте це з байєсівською логістичною моделлю, яка забезпечує точні умовиводи.

Інші згадували контроль помилок як причину використання частолістських висновків. Я не думаю, що це логічно, тому що помилка, на яку вони посилаються, - це довготривала помилка, яка передбачає процес, в якому проводяться тисячі статистичних тестів. Суддя, який заявив, що "ймовірність помилкового засудження в моїй залі суду лише 0,03" повинна бути позбавлена ​​волі. Їй інкримінують найвищу ймовірність прийняття правильного рішення для нинішнього відповідача . З іншого боку, один мінус задньої ймовірності ефекту - це ймовірність нульового або зворотного ефекту, і це насправді необхідна помилка.

Багато людей, здається, не знають про третю філософську школу: ймовірність. Книга AWF Edwards, "Вірогідність", мабуть, найкраще місце для читання. Ось коротка стаття, яку він написав.
Ймовірність відхиляється від p-значень, як і байесіанство, але також ухиляється від часто сумнівного попередника байесів. Існує лікування інтро тут , як добре.

Одним з найбільших недоліків частолістських підходів до побудови моделей завжди був, як зазначає TrynnaDoStats у своєму першому пункті, проблеми, пов'язані з інвертуванням великих рішень закритої форми. Інверсія матриці закритої форми вимагає, щоб вся матриця перебувала в оперативній пам’яті, суттєве обмеження для єдиних платформ процесора з великим обсягом даних або масово категоричними ознаками. Байєсівські методи змогли обійти цю проблему, імітуючи випадкові розіграші із заданого попереднього. Це завжди було однією з найбільших точок продажу байєсівських рішень, хоча відповіді отримують лише за значних витрат у процесорі.

Ендрю Ейнслі та Кен Поїзд, у статті від 10 років тому, на яку я втратив посилання, порівнювали скінчену суміш (яка є частою чи закритою формою) з байесівськими підходами до побудови моделей і виявили, що в широкому діапазоні функціональних форм і показники ефективності, два способи дали по суті еквівалентні результати. Там, де байєсівські рішення мали перевагу або мали більшу гнучкість, були в тих випадках, коли інформація була як рідкою, так і дуже великою.

Однак цей документ був написаний ще до того, як були розроблені алгоритми "розділити і перемогти", які масово використовують паралельні платформи, наприклад, докладніше про цю сторінку http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- див. У статті Чена та Мінге. 01.pdf

Виникнення підходів до науково-дослідної роботи означало, що навіть для найсміливіших, найрідкіших і найвищих розмірних проблем байєсовські підходи вже не мають переваги перед частофілістськими методами. Два способи на паритеті.

Цю порівняно недавню розробку варто відзначити в будь-яких дискусіях щодо практичних переваг або обмежень будь-якого методу.

Часті тести зосереджуються на фальсифікації нульової гіпотези. Однак тестування значущості гіпотези (NHST) також можна здійснити з байєсівської точки зору, оскільки у всіх випадках NHST - це просто обчислення P (спостережуваний ефект | ефект = 0). Отже, важко визначити час, коли необхідно було б проводити НХСТ з точки зору частістів.

Незважаючи на це, найкращий аргумент для проведення NHST з використанням частолістського підходу - це простота та доступність. Людей навчають статистиці часто. Таким чином, простіше запустити частотаністський NHST, оскільки існує набагато більше статистичних пакетів, які спрощують це зробити. Так само простіше повідомити результати частотистських NHST, оскільки люди знайомі з цією формою NHST. Отже, я бачу це як найкращий аргумент для частістських підходів: доступність до статистичних програм, які запускають їх, та легкість передачі результатів колегам. Це просто культурно, тому цей аргумент може змінитися, якщо частістські підходи втратять свою гегемонію.

Кілька коментарів:

• Принципова відмінність баєсівського та частофіцистського статистиків полягає в тому, що баєсій готовий розповсюдити інструменти ймовірності до ситуацій, коли частофіліст цього не зробив.

  • Більш конкретно, баєсіанець готовий використовувати ймовірність для моделювання невизначеності у власній свідомості щодо різних параметрів. Для частолюдників ці параметри є скалярами (хоч і скалярами, коли статистик не знає справжнього значення). Для байесівців різні параметри представлені як випадкові величини! Це надзвичайно інакше. Невизначеність Байесія щодо валеусу параметрів представлена пріоритетом .

• У статистиці Байєса сподіваються, що після спостереження за даними, заднє перевершує попереднє, що попереднє значення не має. Але це часто не так: результати можуть бути чутливими до вибору попереднього! Різні байєси з різними приорами не повинні погоджуватися на задній.

Ключовим моментом, про який слід пам’ятати, є те, що заяви частостичного статиста - це твердження, з якими можуть погодитися будь-які два байєсів, незалежно від їх попередніх переконань!

Частоліст не коментує пріорів чи постерів, лише ймовірність.

Висловлювання статистики-частоліста в деякому сенсі менш амбітні, але сміливіші висловлювання байесів можуть значною мірою спиратися на присвоєння пріоритету. У ситуаціях, коли пріори мають значення і в яких немає розбіжностей щодо пріорів, більш обмежені, умовні твердження частофілістської статистики можуть стояти на більш твердій основі.

Мета багатьох досліджень - не досягти остаточного висновку, а просто отримати трохи більше доказів, щоб поступово підштовхувати почуття громади до питання в одному напрямку .

Байєсівська статистика є незамінною, коли потрібно оцінити рішення чи висновок з урахуванням наявних доказів. Контроль якості був би неможливим без байесівської статистики. Будь-яка статистика виграє для будь-якої процедури, коли потрібно взяти деякі дані, а потім діяти на них (робототехніка, машинне навчання, прийняття бізнес-рішень).

Але багато дослідників цього не роблять. Вони проводять деякі експерименти, збирають деякі дані, а потім говорять "Дані вказують таким чином", не переживаючи занадто багато про те, чи це найкращий висновок, враховуючи всі докази, які інші зібрали до цього часу. Наука може бути повільним процесом, і твердження типу "Ймовірність правильності цієї моделі становить 72%!" часто є передчасним або непотрібним.

Це доречно і простим математичним способом, тому що частофілістська статистика часто виявляється математично такою ж, як етап оновлення байєсівської статистики. Іншими словами, хоча статистика Баєса («Модель попереднього періоду», «Докази») → Нова модель, статистика часто - це лише Докази, і вона залишає їх іншим для заповнення двох інших частин.

Фактичне виконання байєсівського методу більш технічне, ніж виконання частотолога. Під "більш технічним" я маю на увазі такі речі, як: 1) вибір пріорів, 2) програмування вашої моделі в BUGS / JAGS / STAN і 3) роздуми про вибірку та конвергенцію.

Очевидно, що №1, за дефініцією Байесія, майже не є необов'язковим. Хоча з деякими проблемами та процедурами можуть бути розумні за замовчуванням, дещо приховуючи проблему від користувача. (Хоча це також може спричинити проблеми!)

Чи буде проблема №2, залежить від програмного забезпечення, яке ви використовуєте. Байєсівська статистика має нахил до більш загальних рішень, ніж частостістські статистичні методи, а такі інструменти, як BUGS, JAGS та STAN, є природним вираженням цього. Однак існують функції Байєса в різних програмних пакетах, які, здається, працюють як типова процедура частотизму, тому це не завжди є проблемою. (І останні рішення, такі як пакети R, rstanarmі brmsусувають цю прогалину.) Однак використання цих інструментів дуже схоже на програмування новою мовою.

Пункт №3, як правило, застосовний, оскільки більшість реальних програм Bayesian використовуватимуть вибірку MCMC. (З іншого боку, процедури, що базуються на частоті MLE, використовують оптимізацію, яка може сходитися до локальних мінімумів або взагалі не конвергуватися. Мені цікаво, скільки користувачів повинні перевіряти це, а чи ні?)

Як я сказав у коментарі, я не впевнений, що свобода від пріорів насправді є науковою вигодою. Це, звичайно, зручно декількома способами та в декількох моментах процесу публікації, але я не впевнений, що це насправді сприяє кращій науці. (І, начебто, ми всі повинні усвідомлювати своїх пріорів як науковців, або ми будемо страждати від різного роду упередженостей у своїх дослідженнях, незалежно від того, які статистичні методи ми використовуємо.)

Концептуально : я не знаю. Я вважаю, що байєсівська статистика - це найбільш логічний спосіб думати, але я не можу пояснити, чому.

Перевага частолістів полягає в тому, що більшості людей на початковому рівні це легше. Але для мене це було дивно. Минули роки, поки я не зміг по-справжньому інтелектуально уточнити, що таке інтервал довіри. Але коли я почав стикатися з практичними ситуаціями, частістські ідеї виявилися простими і дуже актуальними.

Емпірично

Найважливіше питання, на яке я намагаюся сьогодні зосередитись, - це більше щодо практичної ефективності: особистого робочого часу, точності та швидкості обчислень.

Особистий робочий час: Для основних питань я фактично майже не використовую байєсівські методи: я використовую основні інструменти частолістів і завжди віддаю перевагу t-тесту над еквівалентом Байєса, який би просто приніс мені головний біль. Коли я хочу знати, чи я значно кращий у тиктактоні, ніж моя подруга, я роблю чи-квадрат :-). Власне, навіть у серйозній роботі комп'ютерного вченого, частофілістські основні інструменти просто безцінні для дослідження проблем та уникнення помилкових висновків через випадковість.

Точність. У машинному навчанні, де прогнозування має більше значення, ніж аналіз, не існує абсолютної межі між байесовськими і частолістськими. MLE - частість підходу: просто оцінювач. Але регульований MLE (MAP) - це частково байєсівський підхід : ви знаходите режим заднього і не піклуєтесь про решту задньої частини. Я не знаю частостістського обґрунтування того, чому використовують регуляризацію. Насправді, регуляризація іноді просто неминуча, оскільки необроблена оцінка MLE настільки завищена, що 0 було б кращим прогнозом. Якщо регуляризація погодиться як справді баєсовський метод, то це одне лише виправдовує, що Байєс може вчитися з меншими даними.

Швидкість обчислень: частістські методи найчастіше обчислювально швидші та простіші у виконанні. І якимось чином регуляризація забезпечує дешевий спосіб ввести в них трохи Байєса. Це може бути тому, що байєсівські методи все ще не настільки оптимізовані, як могли. Наприклад, деякі реалізації LDA в наш час швидкі. Але вони вимагали дуже важкої роботи. Для оцінки ентропії першими прогресивними методами були байєсівські. Вони працювали чудово, але незабаром були виявлені частофілістські методи і забирають набагато менше часу на обчислення ... Для часу обчислення частолістські методи, як правило, явно переважають. Не абсурдно, якщо ви баєсий, вважати частолістські методи як наближення байєсівських методів.

Однією з проблем, в якій конкретний підхід, що базується на частотології , по суті переважає будь-який байєсівський, є проблема передбачення у випадку, що відкривається М.

Що означає M-open?

M-open означає, що справжня модель, яка генерує дані, не відображається у наборі моделей, які ми розглядаємо. Наприклад, якщо справжнє середнє значення є квадратичним як функція , але ми розглянемо лише моделі із середньою лінійною функцією , ми знаходимось у випадку M-open. Іншими словами, модель пропуску специфікації призводить до M-відкритого випадку.$y$$x$$x$

У більшості випадків це величезна проблема для байєсівських аналізів; майже вся теорія, про яку я знаю, покладається на те, що модель точно вказана. Звичайно, як критичні статистики, ми повинні думати, що наша модель завжди неправильно уточнена. Це досить проблема; більшість нашої теорії базується на правильності моделі, але ми знаємо, що вона ніколи не буває. В основному ми просто схрещуємо пальці, сподіваючись, що наша модель не надто неправильна.

Чому методи частіших досліджень краще справляються з цим?

Не всі так роблять. Наприклад, якщо ми використовуємо стандартні інструменти MLE для створення стандартних помилок або побудови інтервалів передбачення, нам не краще, ніж використовувати методи Байєса.

Однак є один конкретний інструмент частота, який спеціально призначений саме для цієї мети: перехресне підтвердження. Тут, для того, щоб оцінити, наскільки добре наша модель спрогнозує нові дані, ми просто залишаємо деякі дані під час встановлення моделі та вимірюємо, наскільки добре наша модель прогнозує небачені дані.

Зауважимо, що цей метод є абсолютно неприйнятним для пропуску специфікації моделі, він лише надає нам спосіб оцінити, наскільки добре модель спрогнозує нові дані, незалежно від того, "модель" правильна чи ні.

Я не думаю , що це занадто важко стверджувати , що це дійсно змінює підхід до прогнозному моделюванню , що важко виправдати з байєсівської точки зору (до передбачається представити попередні знання перед переглядом даних, функція правдоподібності моделі і т.д.) до одного це дуже просто виправдати з точки зору частотистів (ми обрали модель + параметри регуляризації, що при повторному відборі вибірки призводить до найкращих помилок вибірки).

Це повністю змінило спосіб прогнозування. Я не думаю, що жоден статистик не буде (або, принаймні, повинен) серйозно розглянути прогнозовану модель, яка не була побудована або перевірена з перехресною валідацією, коли вона доступна (тобто, ми можемо вважати, що спостереження незалежні, не намагаючись врахувати для вибіркового зміщення та ін.).