Як би ви простою англійською мовою описали характеристики, які відрізняють байесівську від частотологічних міркувань?

Ось як я пояснив бабусі основну різницю:

Я заблукав телефон десь вдома. Я можу використовувати локатор телефону на основі інструменту, щоб знайти телефон, і коли натискаю на локатор телефону, телефон починає звучати.

Проблема: Який район мого будинку я повинен шукати?

Часті міркування

Я чую звуковий сигнал телефону. У мене також є ментальна модель, яка допомагає мені визначити область, з якої надходить звук. Тому, почувши звуковий сигнал, я визначаю зону свого будинку, яку я повинен шукати, щоб знайти телефон.

Байєсське міркування

Я чую звуковий сигнал телефону. Тепер, окрім ментальної моделі, яка допомагає мені визначити область, з якої надходить звук, я також знаю місця, де раніше не виставляв телефон. Таким чином, я поєдную свої умовиводи за допомогою звукових сигналів та попередньої інформації про місця, в яких я раніше не розмістив телефон, щоб визначити область, яку потрібно шукати, щоб знайти телефон.

Язик міцно в щоку:

Байєсів визначає "ймовірність" точно так само, як це робить більшість нестатистів, а саме - вказівку на правдоподібність пропозиції чи ситуації. Якщо ви задасте йому запитання, він дасть вам пряму відповідь, призначивши ймовірності, що описують правдоподібність можливих результатів для конкретної ситуації (та викладе його попередні припущення).

Частота - це той, хто вважає, що ймовірності представляють довгострокові частоти, з якими відбуваються події; якщо це буде потрібно, він вигадає вигадане населення, з якого ваша конкретна ситуація може вважатися випадковою вибіркою, щоб він змістовно міг говорити про довгострокові частоти. Якщо ви задасте йому запитання щодо певної ситуації, він не дасть прямої відповіді, а натомість зробить заяву про це (можливо, уявне) населення. Багатьох статистиків, які не часто застосовують, буде легко сплутати відповідь та інтерпретувати її як байєсівську ймовірність конкретної ситуації.

Однак важливо зауважити, що більшість методів частотистів мають байєсівський еквівалент, який у більшості обставин дасть по суті той самий результат, різниця є значною мірою питанням філософії, а на практиці це питання "коней на курси".

Як ви вже здогадалися, я баєс і інженер. ; o)

Я б дуже грубо сказав, що:

Частий лікар: Вибірка є нескінченною, і правила прийняття рішень можуть бути чіткими. Дані є повторюваною випадковою вибіркою - є частота. Базові параметри є фіксованими, тобто вони залишаються постійними під час цього повторюваного процесу вибірки.

Байесян: Невідомі кількості трактуються ймовірнісно, ​​і стан світу завжди може бути оновлений. Дані спостерігаються з реалізованої вибірки. Параметри невідомі і описані ймовірнісно. Саме дані фіксуються.

Існує геніальна публікація в блозі, яка наводить непростий приклад того, як байєсівці і частотантисти вирішують ту саму проблему. Чому б не відповісти на проблему для себе, а потім перевірити?

Проблема (взята з блогу Panos Ipeirotis):

У вас є монета, яка при переверненні закінчує голову з ймовірністю p і закінчує хвіст з ймовірністю 1-p. (Значення р невідомо.)

Намагаючись оцінити р, ви переверніть монету 100 разів. Він закінчує голову 71 раз.

Тоді ви повинні визначитися з наступною подією: "У двох наступних кидках ми отримаємо дві голови підряд".

Ви б зробили ставку, що подія відбудеться чи не відбудеться?

Скажімо, людина котить шість однобічних штампів і має результати 1, 2, 3, 4, 5 або 6. Крім того, він каже, що якщо він приземлиться на 3, він видасть вам безкоштовну книгу з текстами.

Тоді неофіційно:

Частотний б сказати , що кожен результат має рівний 1 в 6 шанс виникнення. Вона розглядає ймовірність як отриману з довгострокового розподілу частоти.

Однак байєсівці сказали б зачекатись на секунду, я знаю, що людина, це Девід Блейн, відомий хитромудрий! У мене є відчуття, що він щось вирішує. Я скажу, що є лише 1% шансу на те, що він приземлиться на 3 АЛЕ я переоцінюю цю віру і зміню її тим більше разів, коли він котить матрицю. Якщо я бачу, що інші цифри з’являються однаково часто, то я ітеративно збільшую шанс з 1% до чогось дещо вищого, інакше я ще більше зменшу його. Вона розглядає ймовірність як ступінь віри в пропозицію.

Лише трохи весело ...

Баєсієць - це той, хто смутно очікує коня і, вловивши ослін, переконаний, що бачив мула.

З цього сайту:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

і з того самого сайту, приємний твір ...

"Інтуїтивне пояснення теореми Байєса"

http://yudkowsky.net/rational/bayes

Байєсів просять робити ставки, до яких може входити все, з чого муха швидше повзе на стіну, до якої ліки врятують більшість життів, або які ув'язнені повинні потрапити до в'язниці. У нього велика коробка з ручкою. Він знає, що якщо він покладе абсолютно все, що знає, у скриньку, включаючи свою особисту думку, і поверне ручку, це прийме найкраще можливе рішення для нього.

Частиця просять писати звіти. У нього велика чорна книга правил. Якщо ситуація, про яку його просять скласти звіт, охоплюється його правилом, він може слідувати правилам і писати звіт настільки ретельно сформульовано, що це неправильно, в гіршому випадку, один раз у 100 (або один раз у 20, або один час у будь-яку іншу специфікацію для його звіту).

Частоліст знає (бо він писав про це звіти), що Баєсій іноді робить ставки, що в гіршому випадку, коли його особиста думка неправильна, може виявитися погано. Частоліст також знає (з тієї ж причини), що якщо він зробить ставку проти баєсів кожного разу, коли він відрізняється від нього, то, з часом, він програє.

Простий англійською мовою я б сказав, що міркування Байєса і Частота відрізняються двома різними способами відповіді на питання:

Що таке ймовірність?

Більшість розбіжностей, по суті, зводиться до того, як кожна відповідь на це питання, бо в основному визначає область дійсних застосувань теорії. Тепер ви справді не можете дати жодної відповіді з точки зору "простої англійської мови", не створюючи додаткових питань. Для мене відповідь така (як ви могли певно здогадатися)

ймовірність - логіка

$1$$0$. Крім того, обчислення ймовірностей може бути отримане з обчислення пропозицій. Це найбільше відповідає «байєсівському» міркуванню - хоча воно також розширює байєсівські міркування в додатках, надаючи принципи для призначення ймовірностей, крім принципів маніпулювання ними. Звичайно, це призводить до подальшого питання "що таке логіка?" для мене найближче, що я міг би дати як відповідь на це запитання: «логіка - це судження здорового глузду раціональної людини, з заданим набором припущень» (що таке раціональна людина? тощо. та ін.). Логіка має всі ті ж особливості, що й байєсівські міркування. Наприклад, логіка не говорить вам про те, що припускати або що "абсолютно вірно". Це лише розповідає, як істинність однієї пропозиції пов'язана з істинністю іншої. Ви завжди повинні забезпечити логічну систему «аксіомами», щоб розпочати роботу над висновками. Вони також мають ті ж обмеження, що ви можете отримати довільні результати від суперечливих аксіом. Але "аксіоми" - це не що інше, як попередні ймовірності, які були встановлені$1$

Для частолістських міркувань у нас є відповідь:

ймовірність - частота

хоча я не впевнений, що "частота" - це звичайний англійський термін у тому, як він використовується тут - можливо, "пропорція" - це краще слово. Я хотів додати у відповідь частістів, що вірогідність події вважається реальною, вимірюваною (спостережуваною?) Величиною, яка існує незалежно від людини / об'єкта, який її обчислює. Але я не міг цього зробити "простим англійським" способом.

Тож, можливо, "простою англійською" версією однієї різниці може бути те, що частофілістські міркування - це спроба міркування з "абсолютних" ймовірностей, тоді як байєсівські міркування - це спроба міркування з "відносних" ймовірностей.

Ще одна відмінність полягає в тому, що частістські основи більш невиразні в тому, як ти переводиш проблему реального світу в абстрактну математику теорії. Хорошим прикладом є використання «випадкових змінних» в теорії - вони мають точне визначення в абстрактному світі математики, але немає однозначної процедури, яку можна використовувати, щоб визначити, чи є якась спостережувана величина випадковою чи ні «випадковою» змінна ".

Байєсівський спосіб міркування, поняття "випадкової величини" не потрібен. Розподіл ймовірностей присвоюється кількості, оскільки вона невідома - це означає, що її не можна логічно вивести з інформації, яку ми маємо. Це забезпечує одразу простий зв'язок між спостережуваною величиною і теорією - оскільки "невідомо" однозначно.

Ви також можете побачити у наведеному вище прикладі подальшу різницю в цих двох способах мислення - "випадковий" проти "невідомий". "випадковість" формулюється таким чином, що "випадковість" здається, що вона є властивістю фактичної кількості. І навпаки, "бути невідомим" залежить від того, яку людину ви запитуєте про цю кількість - отже, це властивість статистику, який робить аналіз. Це породжує прикметники "об'єктивні" проти "суб'єктивні", які часто приєднуються до кожної теорії. Неважко довести, що «випадковість» не може бути властивістю деяких стандартних прикладів, просто попросивши двох ветеринарів, яким надають різну інформацію про однакову кількість, вирішити, чи є її «випадковою». Один - це звичайна урна Бернуллі: частістка 1 зав'язує очі під час малювання, тоді як частіст 2 стоїть над урною, спостерігаючи, як частоліст 1 малює кульки з урни. Якщо декларація "випадковості" є властивістю кульок в урні, то це не може залежати від різних знань частолістських 1 і 2 - і, отже, два частофіліста повинні дати те саме оголошення "випадкового" або "не випадкового" .

Насправді я вважаю, що багато філософії навколо цього питання є просто чудовою. Це не відхиляти дебати, але це слово обережності. Іноді практичні питання мають пріоритет - я наведу приклад нижче.

Крім того, ви можете так само легко стверджувати, що існує більше двох підходів:

• Нейман-Пірсон ('частотист')
• Підходи, засновані на вірогідності
• Повністю баєсійський

Нещодавно старший колега нагадав мені, що "багато людей спільною мовою говорять про частолістських та байєсівських. Я думаю, що більш справедливим є розмежування на основі ймовірності та частотизму. І максимальна ймовірність, і байєсовські методи дотримуються принципу ймовірності, тоді як частістські методи цього не роблять. "

Почну з дуже простого практичного прикладу:

Отже, тест точний або на 100%, або на 95%, залежно від того, здоровий він чи хворий. У сукупності це означає, що тест є щонайменше на 95% точним.

Все йде нормально. Це ті висловлювання, які висловлювали б учасники. Ці твердження досить прості для розуміння і є правдивими. Немає необхідності вести вафлі щодо "частої інтерпретації".

Але речі стають цікавими, коли ви намагаєтесь перевернути речі. З огляду на результат тесту, що ви можете дізнатися про здоров'я пацієнта? Даючи негативний результат тесту, пацієнт, очевидно, здоровий, оскільки немає помилкових негативів.

Але ми також повинні розглянути випадок, коли тест є позитивним. Чи був тест позитивним через те, що пацієнт насправді хворий, чи хибний позитивний? Тут розходяться частістські та баєсійські. Усі погодяться, що на цей момент відповісти не можна. Частіст відмовиться відповідати. Байєсів буде готовий дати вам відповідь, але вам доведеться спочатку надати байєсів - тобто сказати, яка частка хворих хворіє.

Для резюме, такі твердження відповідають дійсності:

• Для здорових пацієнтів тест дуже точний.
• Для хворих пацієнтів тест дуже точний.

Якщо вас влаштовують такі твердження, то ви використовуєте часті інтерпретації. Це може змінюватися від проекту до проекту, залежно від того, які проблеми ви шукаєте.

Але ви можете зробити різні заяви і відповісти на таке питання:

• Для тих пацієнтів, які отримали позитивний результат тесту, наскільки точним є тест?

Для цього потрібен попередній та баєсовський підхід. Зауважте також, що це єдине питання, яке цікавить лікаря. Лікар скаже: "Я знаю, що пацієнти отримають або позитивний результат, або негативний результат. Я також тепер, коли негативний результат означає, що пацієнт здоровий і може бути відправлений додому. Єдині пацієнти, які мене зараз цікавлять, - це ті, хто отримав позитивний результат - вони хворі? "

Підводячи підсумок: На таких прикладах байєсийці погоджуються з усім, що сказав частоліст. Але Байєсій стверджує, що заяви частоліста, хоча істинні, не дуже корисні; і буде стверджувати, що на корисні питання можна відповісти лише заздалегідь.

Частіст розглядає по черзі кожне можливе значення параметра (H або S) і запитає "якщо параметр дорівнює цьому значенню, яка ймовірність мого тесту є правильним?"

Натомість баєсівський розглядає по черзі кожне можливе спостережуване значення (+ або -) і запитує "Якщо я думаю, що я щойно спостерігав це значення, що це говорить мені про умовну ймовірність H-проти-S?"

Байєсівська та частолістська статистика сумісні тим, що їх можна розуміти як два обмежуючих випадки оцінки ймовірності майбутніх подій на основі минулих подій та припущеної моделі, якщо визнати, що в межах дуже великої кількості спостережень немає невизначеності щодо система залишається, і в цьому сенсі дуже велика кількість спостережень дорівнює знанню параметрів моделі.

Припустимо, ми зробили деякі спостереження, наприклад, результат 10 перевернень монети. У статистиці Байєса ви починаєте з того, що спостерігали, а потім оцінюєте ймовірність майбутніх спостережень або параметрів моделі. У частотистській статистиці ви починаєте з ідеї (гіпотези) того, що відповідає дійсності, припускаючи сценарії великої кількості спостережень, які були зроблені, наприклад, монета є неупередженою і дає 50% головок вгору, якщо ви кинете її багато разів. Спираючись на ці сценарії великої кількості спостережень (= гіпотеза), ви оцінюєте частоту здійснення спостережень на зразок того, що ви робили, тобто частоту різних результатів 10 монетних переворотів. Лише тоді ви берете фактичний результат, порівнюєте його з частотою можливих результатів і вирішуєте, чи належить результат до тих, які, як очікується, відбудуться з високою частотою. У цьому випадку ви робите висновок, що зроблене спостереження не суперечить вашим сценаріям (= гіпотеза). В іншому випадку ви робите висновок, що зроблене спостереження несумісне з вашими сценаріями, і ви відкидаєте гіпотезу.

Таким чином, байєсівська статистика починається з спостережуваного і оцінює можливі подальші результати. Статистичні дані часто починаються з абстрактного експерименту того, що було б спостерігати, якщо щось припускають, і лише потім порівнюють результати абстрактного експерименту з тим, що насправді спостерігали. Інакше два підходи сумісні. Вони обидва оцінюють ймовірність майбутніх спостережень на основі деяких зроблених або гіпотезованих спостережень.

Я почав це писати більш формально:

Позиціонування байєсівського умовиводу як особливого застосування частолістського умовиводу і навпаки. фішаре.

http://dx.doi.org/10.6084/m9.figshare.867707

Рукопис новий. Якщо ви випадково читаєте його та маєте коментарі, будь ласка, дайте мені знати.

Я б сказав, що вони дивляться на ймовірність по-різному. Байєсівський суб'єктивний і використовує апріорні переконання для визначення попереднього розподілу ймовірностей на можливі значення невідомих параметрів. Тож він спирається на таку теорію ймовірності, як дефінетті. Частеліст розглядає ймовірність як щось, що має відношення до обмежувальної частоти на основі спостережуваної пропорції. Це узгоджується з теорією ймовірності, розробленою Колмогоровим та фон Мізесом.
Частоталіст робить параметричні умовиводи, використовуючи лише функцію ймовірності. Баєсієць приймає це і помножує на попереднє і нормалізує його, щоб отримати задній розподіл, який він використовує для висновку.

Як я відповідаю на це запитання, це те, що часто відвідувачі порівнюють дані, які вони бачать, з тими, що очікували. Тобто, у них є ментальна модель того, як часто щось має відбуватися, а потім бачити дані та як часто це траплялося. тобто наскільки вірогідними є дані, які вони побачили з урахуванням обраної ними моделі.

Байесови люди, з іншого боку, об'єднати свої ментальні моделі. Тобто, у них є модель, заснована на їх попередньому досвіді, яка говорить їм, як вони вважають, що дані повинні виглядати, а потім вони поєднують це з даними, які вони спостерігають, щоб опиратися на деяку `` задню '' переконання. тобто вони знаходять вірогідність того, що модель, яку вони прагнуть вибрати, є дійсною, враховуючи дані, які вони спостерігали.

Частота: справжній стан природи. Якщо я звично робити подібні аналізи, 95% моїх відповідей будуть правильними.

Байесян: Є 95% шансів, що правдива відповідь .... Я базую це на поєднанні даних, які ви мені дали, і наших попередніх здогадах про те, що є правда.

Частота: ставки на кістки. Тільки ціна кістки визначатиме результат: виграєте ставку, чи ні. Залежно від випадковості.

Байесян: грає в покер в Техасі Холдем. Ви єдиний, хто бачить ваші дві карти. Ви маєте деякі знання про інших гравців на столі. Ви повинні скорегувати свою ймовірність виграти на флопі, повороті та ріурі та, можливо, відповідно до того, які гравці залишилися. Вони блефують часто? Агресивні чи пасивні гравці? Все це вирішить, що ви робите. Виграєте ви чи ні, не тільки вірогідність тих перших двох листівок, які ви отримали.

Грати в покер в часті - це означає, що кожен гравець би показав свої руки на початку, а потім зробив ставку або складку перед тим, як будуть показані карти флопу, повороту та рівер. Тепер це залежить лише від випадковості, виграєте ви чи ні.

Скажіть, якщо вас зловив головний біль та йдіть до лікаря. Припустимо, у наборі рішень лікаря є дві причини головного болю, №1 - пухлина головного мозку (першопричина, яка створює головний біль у 99% часу), і №2 - застуда (причина, яка може створити головний біль у дуже небагато пацієнтів) .

Тоді рішення лікарів на основі частотного підходу були б, у вас пухлина мозку.

Рішення лікарів, засноване на байєсівському підході, скаже вам, що ви застудилися (навіть якщо лише 1% застуди викликає головні болі)

Сам кіт і самка котяться в сталевій камері разом з достатньою кількістю їжі та води протягом 70 днів.

Часто говорять про те, що середній термін вагітності котячих становить 66 днів, самка перебуває в теплі, коли коти були виселені, і одного разу в теплі вона спарюється повторно протягом 4 - 7 днів. Оскільки, ймовірно, було багато актів розмноження та наступного часу для гестації, шанси є, коли ящик відкриється на 70 день, є послід для новонароджених кошенят.

Баєсієць сказав би, що я чув, що 1-го дня серйозний Марвін Гей приходить з коробки, а потім сьогодні вранці почув багато звуків, схожих на кошеня, що лунали з коробки. Тож, не знаючи багато про розмноження котів, шанси є, коли коробку відкриють на 70 день, є послід новонароджених кошенят.