Хто такі байєси?

Коли хтось цікавиться статистикою, дихотомія "Частота" проти "Байєсіана" незабаром стає звичною (а хто так і не прочитав " Сигнал і шум" Нейт Сілвер ?). У переговорах та вступних курсах точка зору є надзвичайно частою ( MLE , значення), але, як правило, є невеликий проміжок часу, присвячений захопленню формулою Байєса і торканню ідеї попереднього розподілу , як правило, дотично.$p$

Тон, використаний для обговорення байєсівської статистики, коливається між повагою до її концептуальної основи та натяком на скептицизм щодо прірви між високими цілями та свавіллям у виборі попереднього розподілу чи можливим використанням частолістської математики.

Такі вироки, як "якщо ви байєсист" ...

Питання в тому, хто сьогодні байєси? Чи є вони деякими відбірними академічними установами, де ви знаєте, що якщо поїдете туди, ви станете баєсом? Якщо так, то спеціально вони затребувані? Ми маємо на увазі лише кількох шанованих статистиків і математиків, і якщо так, то хто вони?

Чи вони навіть існують як такі, ці чисті "баєси"? Чи раді вони приймати етикетку? Чи завжди це улеслива відмінність? Чи є вони математиками зі своєрідними слайдами на засіданнях, позбавленими будь-яких значень та інтервалів довіри, легко помічаються на брошурі?$p$

Скільки ніші займає "баєс"? Ми маємо на увазі меншину статистиків?

Або сучасний байєсівський ізм прирівнюється до додатків машинного навчання?

... Або ще ймовірніше, чи баєсівська статистика - це не стільки галузь статистики, скільки скоріше гносеологічний рух, який виходить за рамки обчислень ймовірностей у філософію науки? У зв'язку з цим усі науковці мали би байєсівські душі ... але не було б такого чистого байєсівського статистичного діяча, непроникного для частолістських прийомів (або суперечностей).

Я прийму ваші запитання для того, щоб:

Питання в тому, хто сьогодні байєси?

Будь-хто, хто робить байєсівський аналіз даних і самоідентифікується як "баєсівський". Так само, як програміст - це той, хто програмує і самоідентифікується як "програміст". Незначна відмінність полягає в тому, що з історичних причин Баєсій має ідеологічні конотації через часто бурхливий аргумент між прихильниками "частістських" інтерпретацій ймовірності та прихильниками "байєсівської" інтерпретації ймовірності.

Вони є деякими відбірними академічними установами, де ви знаєте, що якщо поїдете туди, ви станете баєсом?

Ні, як і в інших частинах статистики, вам просто потрібна хороша книга (і, можливо, хороший викладач).

Якщо так, то спеціально вони затребувані?

Байєсівський аналіз даних - дуже корисний інструмент при статистичному моделюванні, який, на мою думку, є досить затребуваною майстерністю (навіть якщо компанії, можливо, спеціально не шукають «байєсів»).

Ми маємо на увазі лише кількох шанованих статистиків і математиків, і якщо так, то хто вони?

Є багато шанованих статистикам , що я вважаю , що називати себе Bayesians , але це не в Bayesians.

Чи вони навіть існують як такі, ці чисті "баєси"?

Це трохи схоже на запитання "Чи існують ці чисті програмісти"? Є кумедна стаття під назвою 46656 Різновиди байєсів , і впевнений, що серед "баєсів" є здоровий аргумент щодо багатьох фундаментальних питань. Так само, як програмісти можуть сперечатися щодо достоїнств різних методик програмування. (BTW, програма чистих програмістів у Haskell).

Чи раді вони приймати етикетку?

Деякі так, деякі ні. Коли я виявив байєсівський аналіз даних, я подумав, що це найкраще, оскільки нарізаний хліб (я все ще роблю), і я був радий називати себе "баєсом" (не в останню чергу, щоб дратувати людей, які мають значення в моєму відділі). Сьогодні цей термін мені не подобається, я думаю, що це може відчужувати людей, оскільки це робить аналіз даних Байєса схожим на якийсь культ, який це не є, а не корисним методом у вашій статистичній панелі інструментів.

Чи завжди це улеслива відмінність?

Ні! Наскільки мені відомо, термін «Байезіан» був введений відомим статистиком Фішером як зневажливий термін. До цього її називали "зворотна ймовірність" або просто "ймовірність".

Чи є вони математиками зі своєрідними слайдами на засіданнях, позбавленими будь-яких значень p та інтервалів довіри, легко помічаються на брошурі?

Що ж, у баєсівській статистиці є конференції, і я не думаю, що вони включають стільки р-значень. Чи буде вам слайди своєрідними залежати від вашого фону ...

Скільки ніші займає "баєс"? Ми маємо на увазі меншину статистиків?

Я все ще думаю, що меншість статистиків займається байєсівською статистикою, але також думаю, що частка зростає.

Або сучасний байєсівський ізм прирівнюється до додатків машинного навчання?

Ні, але байєсівські моделі багато використовуються в машинному навчанні. Ось чудова книга машинного навчання, яка представляє машинне навчання з байесівської / пробібалістичної точки зору: http://www.cs.ubc.ca/~murphyk/MLbook/

Сподіваюся, що відповів на більшість питань :)

Оновлення:

[C] Ви можете, будь ласка, розглянути можливість додавання списку конкретних методик або приміщень, що відрізняють баєсівські статистичні дані?

Що розрізняти Байес статистики є використанням байєсівської моделі :) Ось моя спина на те , що байесовский модель є :

Байєсова модель - це статистична модель, де ви використовуєте ймовірність для представлення всієї невизначеності в межах моделі, як невизначеності щодо виходу, але і невизначеності щодо вхідних даних (aka параметрів) в модель. З цього випливає вся річ попередньої / задньої / теореми Байєса, але, на мою думку, використання ймовірності для всього - це те, що робить його Баєсіаном (і справді, краще слово могло б бути чимось на кшталт імовірнісної моделі).

Тепер, байесівські моделі можуть бути складними для підходу , і для цього використовується безліч різних обчислювальних прийомів. Але ці прийоми самі по собі не є баєсами . Щоб назначити кілька обчислювальних методів:

• Марківський ланцюг Монте-Карло
  • Метрополіс-Гастінгс
  • Відбір проб Гіббса
  • Гамільтоніан Монте-Карло
• Варіаційний Байєс
• Орієнтовна обчислення Байєса
• Фільтри для частинок
• Наближення Лапласа
• І так далі...

Хто був відомим статистиком, який ввів термін «байєсівський» як зневажливий?

Це був нібито Рональд Фішер. Стаття Коли Байєсівський висновок став "баєсівським"? дає історію терміна «баєсівський».

Байєси - це люди, які визначають ймовірності як числове представлення правдоподібності якоїсь пропозиції. Часті люди - це люди, які визначають ймовірності як такі, що представляють довгострокові частоти. Якщо ви задоволені лише тим чи іншим із цих визначень, то ви або баєс, або часто. Якщо ви задоволені будь-яким із них і використовуєте найбільш відповідне визначення для підручного завдання, то ви статистик! ; o) В основному це зводиться до визначення ймовірності, і я би сподівався, що більшість працюючих статистиків зможуть побачити переваги та недоліки обох підходів.

натяк на скептицизм щодо прірви між високими цілями та свавіллям у виборі попереднього розподілу чи можливому використанні частофілістської математики.

Скептицизм також йде в інший бік. Частоталізм був винайдений з високою метою усунення суб'єктивності існуючої думки щодо вірогідності та статистики. Однак суб'єктивність все ще є (наприклад, для визначення відповідного рівня значущості в тестуванні гіпотез), але вона просто не робиться явною або часто просто ігнорується .

Ендрю Гельман , наприклад, професор статистики та політології Колумбійського університету, є видатним баєсом.

Я підозрюю, що більшість членів ISBA , ймовірно, вважають себе і байєсами.

Загалом такі теми досліджень, як правило, відображають байєсівський підхід. Якщо ви читаєте документи про них, цілком ймовірно, автори описували б себе як "баєсів"

• Марков-ланцюг Монте-Карло
• Варіаційні байєсові методи (назва дає це один)
• Фільтрація частинок
• Імовірнісне програмування

Сьогодні ми всі баєси , але є світ поза цими двома таборами: алгоритмічна ймовірність. Я не впевнений, що є стандартним посиланням на цю тему, але є ця прекрасна стаття Колмогорова про алгоритмічну складність: А. Н. Колмогоров, Три підходи до визначення поняття «кількість інформації» , Пробл. Передачі Інф., 1965, Том 1, Випуск 1, 3–11. Я впевнений, що є англійський переклад.

У цій роботі він визначає кількість інформації трьома способами: комбінаторним, імовірнісним та (новим) алгоритмічним. Комбінаторіал безпосередньо відображається до частолістського, імовірністський безпосередньо не відповідає байєсівському, але сумісний з ним.

ОНОВЛЕННЯ: Якщо вас цікавить філософія вірогідності, я хочу вказати на дуже цікавий твір " Витоки та спадщина Грундбегріфа Колмогорова""Глен Шафер та Володимир Вовк. Ми до кінця все забули перед Колмогоровим, і перед його семінарською роботою було багато чого. З іншого боку, ми не знаємо багато про його філософські погляди. Загалом вважається, що він наприклад, частофіліст. Реальність полягає в тому, що він жив у Радянському Союзі в 1930 р., де було досить небезпечно зайнятися філософією, буквально, ти можеш потрапити в екзистенційну неприємність, яку робив якийсь учений (опинився в тюрмах ГУЛАГу). він, начебто, змушений неявно вказувати на те, що він був частою. Я думаю, що насправді він був не просто математиком, а вченим і мав складне уявлення про застосуванні теорії ймовірностей до реальності.

Існує ще одна праця Вовка про алгоритмічний підхід Колмогорова до випадковості: внесок Колмогорова в основи ймовірності

Вовк створив ігрово-теоретичний підхід до ймовірностей - теж дуже цікаво.

ОНОВЛЕННЯ 2: Ось байєсівський, насправді, професор одного з університетів Вашингтона, округ Колумбія. Він намагався зробити точку зору, що ми повинні обирати політиків, які оновлюють свої переконання на основі досвіду, нових спостережень. Тут - заднє вірування , після нового досвіду ; є пріоритетним. Він намагався пояснити це учасникам "Ралі для страху" Колберта / Стюарта.B E P ( E | B $P(B|E)$$B$$E$$P(E|B)$

ОНОВЛЕННЯ 3:

Я також хотів вказати на щось в оригінальній роботі Колмогорова, яка з деяких причин (або легко забута) практикуючим практикою не відома. У нього був розділ про підключення теорії до реальності. Зокрема, він встановив дві умови використання теорії:

• А. Якщо повторити експеримент багато разів, то частота виникнення буде відрізнятися лише невеликою кількістю від ймовірності, практично напевно
• B. Якщо ймовірність дуже мала, то якщо ви проведете експеримент лише один раз, то ви можете бути впевнені, що подія не відбудеться

Існують різні трактування цих умов, але більшість людей погоджуються, що це не суто філософські погляди. Колмогоров заявив, що певною мірою дотримується підходу фон Мізеса, але, здавалося, він вказує на те, що все не так просто, як може здатися. Я часто думаю про стан B, і не можу прийти до стабільного висновку, воно виглядає дещо інакше кожен раз, коли я думаю про це.

Найбільш «важким ядром» байесів, про яких я знаю, є Едвін Джейнс , померлий у 1998 році. Я очікував би, що серед його вихованців буде знайдено ще «важке ядро» байесів, особливо посмертного співавтора його основної праці « Теорія ймовірностей: Логіка науки , Ларрі Бретторст. Серед інших відомих історичних байєсів - Гарольд Джеффріс та Леонард Савдже . Хоча я не маю повного огляду галузі, моє враження полягає в тому, що останнім часом популярність байєсівських методів (особливо в машинному навчанні) обумовлена ​​не глибоким філософським переконанням, а прагматичною позицією, що байєсівські методи виявилися корисними у багатьох додатки. Я думаю, типовим для цієї посади є Ендрю Гельман .

Я не знаю, хто такі байєси (хоча, мабуть, я мав би попередній розподіл для цього), але я знаю, хто вони не є.

Цитуючи видатного, тепер уже відійшов Байесіяна, Д. В. Ліндлі, "немає нікого менш байєсівського, ніж емпіричний байєсівський". Розділ "Емпіричний байєс" методів Байєса: підхід до соціальних та поведінкових наук, друге видання Джеффа Гілла . Це означає, що я припускаю, що навіть "Часті лікарі" замислюються про те, яка модель має сенс (вибір форми моделі в певному сенсі є пріоритетним), на відміну від емпіричних байесів, які абсолютно механічні щодо всього.

Я думаю, що на практиці не так вже й велика різниця в результатах статистичного аналізу, проведеного провідними ешелонами байесів і частотологів. Що страшно, коли ви бачите статистику низької якості, який намагається жорстко викласти себе (ніколи цього не спостерігав із жінкою) за своєю ідеологічною рольовою моделлю з абсолютною ідеологічною чистотою, і підходити до аналізу саме так, як він вважає, що його зразок для наслідування, але без Якість думки та судження, що має модель для наслідування. Це може призвести до дуже поганого аналізу та рекомендацій. Я думаю, що ультратверде серцевина, але низька якість, ідеологи набагато частіше зустрічаються серед байєсів, ніж у частотологів. Особливо це стосується аналізу рішень.

Я, мабуть, занадто пізно до цієї дискусії, щоб хтось це помітив, але я думаю, що прикро, що ніхто не вказував на те, що найважливішою відмінністю між байєсівськими та частотологічними підходами є те, що байєси (в основному) використовують методи що дотримуються принципу ймовірності, тоді як частота лікарів майже незмінно цього не робить. Принцип ймовірності говорить про те, що докази, що стосуються параметра статистичної моделі, що цікавить, повністю містяться у відповідній ймовірності функції.

Часто відвідувачів, котрі піклуються про статистичну теорію чи філософію, повинні бути набагато більше стурбовані аргументами про обґрунтованість принципу ймовірності, ніж про аргументи щодо різниці між частотними та частковими інтерпретаціями вірогідності та про бажаність попередніх імовірностей. Хоча можливі різні інтерпретації ймовірності співіснування без конфлікту, а деякі люди вирішують поставити пріоритет, не вимагаючи від цього інших, якщо ймовірність принципу вірна або в позитивному, або в нормативному сенсі, але багато методів частота часто втрачають претензії до оптимальності. Часті напади на принцип ймовірності є жорстокістю, оскільки цей принцип підриває їх статистичний світогляд, але в основному ці напади пропускають свій слід ( http://arxiv.org/abs/1507.08394).

Ви можете вважати, що ви баєсець, але ви, мабуть, помиляєтесь ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Байєси отримують розподіл ймовірності результатів інтересів за попередньою вірою / попередньою інформацією. Для байєсів ця дистрибуція (та її підсумки) - це те, що зацікавить більшість людей. На противагу типовим результатам "частотистів", які говорять про те, який шанс побачити результати як більш або більш екстремальні, ніж ті, що спостерігаються, враховуючи, що нульова гіпотеза справжня ( p-значення) або інтервальна оцінка для параметра, що цікавить, 95% з яких містило б справжнє значення, якби ви могли зробити повторну вибірку (довірчий інтервал).

Попередні дистрибуції Байєса є спірними, оскільки вони ВАШЕ. "Правильного" попереднього немає. Більшість прагматичних байєсів шукають зовнішніх доказів, які можуть бути використані для пріорів, а потім знижують або змінюють це виходячи з того, що, як очікується, буде "розумним" для конкретного випадку. Наприклад, скептично налаштовані пріори можуть мати "грудочку" ймовірності щодо нульового випадку - "Наскільки хорошими повинні бути дані, щоб змусити змінити свою думку / змінити поточну практику?" Більшість також буде дивитися на надійність умовиводів для різних пріорів.

Є група байєсів, які вивчають «еталонних» пріорів, які дозволяють їм будувати умовиводи, на які не «впливають» попередні переконання, і тому вони отримують імовірнісні твердження та інтервальні оцінки, які мають «частістські» властивості.

Є також група "хардкор-байєсів", які можуть виступати за те, щоб не вибрати модель (всі моделі неправильні), і які можуть стверджувати, що дослідницький аналіз повинен впливати на ваших пріорів, і тому цього не слід робити. Хоча таких радикальних небагато…

У більшості областей статистики ви знайдете байєсівські аналізи та практикуючі практики. Так само, як ви знайдете людей, які віддають перевагу непараметричним ...

Тільки для того, щоб зайнятись вашим останнім запитанням (тому я не отримую призу!), Про зв’язок між байєсівським / частотологічним підходом та гносеологічною позицією, найцікавіший автор, з яким я зіткнувся, - Дебора Майо. Хороший вихідний пункт - це обмін 2010 року між Майо та Ендрю Гелманом (який тут постає як дещо єретичний баєс). Mayo пізніше опублікував докладну відповідь на папір Гельмана і Шалізьте тут .

Підмножина всіх Bayesians, тобто ті , хто Bayesians турбували надіслати електронною поштою, перераховані тут .

Я б назвав Бруно де Фінетті та Л. Дж. Савиджа Байесіянами. Вони працювали над її філософськими засадами.

Для розуміння основоположних суперечок між відвідувачами та байєсами, важко було б знайти більш авторитетний голос, ніж Бредлі Ефрон.

Ця тема була тема , яку він торкнувся багато разів у своїй кар'єрі, але особисто я знайшов один з його старих робіт корисних: Спірний в Основах статистики (це один отримала нагороду за експозиційне перевагу).