Думайте, як байєсий, перевіряйте як частолюбиця: Що це означає?


35

Я дивлюся на деякі слайди лекцій з курсу інформатики, які можна знайти тут:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

Я, на жаль, не можу побачити відео для цієї лекції, і в один момент на слайді ведучий має такий текст:

Деякі основні принципи

Думайте, як байєсий, переконайтесь, як часто лікар (примирення)

Хтось знає, що це насправді означає? У мене є відчуття, що з цих двох шкіл думки можна зібратись із цього.


2
Подумайте, це може бути пов'язано з перевіркою моделі: див. Чому байєсів не дозволяють дивитися на залишки? .
Scortchi

@Scortchi З того, що я збираю, чи це не пов'язане з розділенням наборів даних для тренувань, валідації та тестування таким чином, чи, можливо, байєсів не дозволяють коригувати пріорі навіть під час навчальної фази моделі (використовувати термін ML тут). Однак я все ще плутаю, що це означає, перевіряючи, як частолюбиця ...
Лука

1
"Правильний" баєсів ніколи не коригує своїх пріорів, а лише оновлює їх відповідно до нової інформації, використовуючи теорему Байєса. Але я лише здогадуюсь, на чому може йти цей «ключовий принцип».
Scortchi

4
Я не зміг завантажити посилання. Я здогадуюсь, що вони означають, що навіть якщо ви використовуєте байєсівські методи, вам слід подбати про робочі характеристики частота: якщо ви генеруєте 95% достовірні інтервали, які є надзвичайно жорсткими, але на практиці охоплюють справжній параметр, що цікавить 20% часу, ви повинні турбуватися? Надмірно жорсткий байєсів може сказати "ні" (але дуже мало баєсів такої жорсткості насправді існує).
Кліф АВ

3
Дивлячись вперед до майбутніх слайдів, вони підтримують Емпіричний Байєс. Це можна побачити на наступному наборі слайдів
Cliff AB

Відповіді:


32

Основна відмінність байєсівської та частофілістичної шкіл статистики виникає через різницю в тлумаченні ймовірності. Байєсівська ймовірність - це твердження про особисту віру, що подія відбулася (або відбулася). Імовірність частістів - це твердження про частку подібних подій, що відбуваються в межах, у міру збільшення кількості цих подій.

Для мене "думати як байєсів" означає оновлювати свою особисту віру, коли з’являється нова інформація, і "перевіряти [або хвилюватися] як частоліст" - означає зайнятися виконанням статистичних процедур, узагальнених за той час, коли ці процедури використовуються, наприклад, яке охоплення достовірних інтервалів, які показники помилок типу I / II тощо.


1
Спасибі за вашу відповідь. Лаконічний і ефективний навіть для непростого, як я!
Лука

2
Чи не можливо перевірити чи хвилюватись, як байєсів, досліджуючи вплив пріорів або використовуючи неінформативний? Чи це стосується лише послідовних аналізів? Було проведено багато роботи над тим, де статистика Байесія та Частота перетинається з послідовними аналізами, "оновлення переконань" не є суттєвим, і послідовну статистику можна зробити суворою в умовах частотистської обстановки.
AdamO

1
Так, можна хвилюватися, як байєсів, наприклад, досліджуючи вплив вашого попередника. Ні, моя відповідь не стосується лише послідовних аналізів, тобто нова інформація може виникнути відразу.
jaradniemi

15

Байєсівська статистика узагальнює переконання, тоді як частістська статистика узагальнює дані. Байєси розглядають ймовірність як ступінь віри. Цей інклюзивний та генеративний тип міркувань корисний для формулювання гіпотез. Наприклад, байєзці можуть довільно призначити певну ймовірність поняттю, що Місяць зроблений із зеленого сиру, незалежно від того, чи дійсно астронавти змогли подорожувати туди, щоб перевірити це. Ця гіпотеза, можливо, підтримується думкою про те, що Місяць здалеку - Місяць виглядаєяк зелений сир. Часто лікарі не можуть поодиноко уявити гіпотезу, яка є більш ніж солом'яною людиною, і не можуть сказати, що докази сприяють одній гіпотезі над іншою. Навіть максимальна ймовірність лише генерує статистику, яка "найбільш відповідає тому, що спостерігалося". Формально байєсівська статистика дозволяє нам мислити нестандартно і пропонувати ідеї, які захищаються. Але це строго гіпотеза, що породжує природу.

Статистичну статистику найкраще застосовувати для підтвердження гіпотез. Коли експеримент проводиться добре, частофілістська статистика надає «незалежним спостерігачам» або «емпіричному» контексту висновки, відмовляючись від пріоритетів. Це узгоджується з філософією Карла Поппера. Суть доказів полягає не в оприлюдненні певної ідеї. Багато доказів узгоджується з неправильними гіпотезами. Докази можуть просто фальсифікувати переконання.

Вплив пріорів, як правило, розглядається як упередженість у статистичних міркуваннях. Як ви знаєте, ми можемо створити будь-яку велику кількість причин того, що відбувається так. Психологічно багато людей вважають, що наша упередженість спостерігачів - результат пріорів у нашому мозку, які не дозволяють нам по-справжньому зважувати те, що ми бачимо. "Спостереження хмари сподівання", як сказала преподобна мати в Дюні. Поппер зробив цю ідею жорсткою.

Це мало велике історичне значення в деяких найбільших наукових експериментах сучасності. Наприклад, Джон Сноу ретельно зібрав докази епідемії холери і промовисто зробив висновок, що холера не викликаний моральними позбавленнями, і зазначив, що дані свідчать про те, що дані довідки сильно відповідали забрудненню стічних вод: зауважте, він не робив висновкуЦе, результати Сноу, передували відкриттю бактерій, і механістичного чи етіологічного розуміння не було. Подібний дискурс зустрічається в "Походження видів". Ми насправді не знали, чи був місяць зроблений із зеленого сиру, поки космонавти фактично не висадилися на поверхню і не зібрали зразки. У цей момент байєсівські плакатори приписали дуже, дуже низьку ймовірність будь-якої іншої можливості, і часто лікарі можуть сказати, що зразки сильно несумісні ні з чим, крім місячного пилу.

Підсумовуючи, байєсівські статистичні дані піддаються породженню гіпотез, а частістська статистика піддається підтвердженню гіпотез. Забезпечення незалежного збирання даних у цих починаннях є одним із найбільших проблем, з якими стикаються сучасні статистики.


1
Дякую за відповідь. Що ви мали на увазі, коли говорили Plenty of evidence is consistent with incorrect hypotheses.
Лука

2
@Luca Загальний статистичний приклад може бути знайдений в заплутаності. Наприклад, я можу сказати: "Куріння покращує роботу легенів у підлітків". Я можу піти далі раціоналізувати це, сказавши, що куріння є стимулятором, який заохочує кращі фізичні навантаження, здоровий апетит та заохочує здорову соціалізацію. Якби я зібрав дані, вони дійсно показали б, що підлітки, які палять, мають кращу функцію легенів. Асоціативний висновок правильний, але причинний - хибний. Відносини плутаються з віком, оскільки старші діти частіше курять.
AdamO

Дякую! Я багато чого навчився з цієї дуже добре написаної відповіді.
Лука

5

За Cliff ABкоментарем до ОП, це здається, що вони прямують до емпіричної філософії Байєса. Існує три основні школи байесівської думки, і Емпіричний Байєс оцінює пріоритети з даних, часто за допомогою частофілістських методів. Це не зовсім відповідає цитаті (з якої випливає Баєс на передовій, часто-схожих на них занепокоєння), але ми не повинні нехтувати Cliff ABчудовим коментарем.

Крім того, існувала і може бути все ще школа байесівських думок, що вам не потрібно нічого перевіряти після байєсівської процедури. Більш сучасна думка використовуватиме задні передбачувальні перевірки, і, можливо, саме такий підхід подвійної перевірки ваших відповідей - це те, про що йдеться у цитаті.

Крім того, філософія частої філософії стосується процедур, а не висновків з даних. Тож, можливо, це також є підказкою до значення цитати.


Я думаю, ви посилалися на мій перший коментар, а другий мій коментар - це те, що після ретельного огляду ви вірно вважаєте, що вони дуже конкретно посилаються на Емпіричний Байес. Я був фактично розчарований, що цитата була просто лише схваленням Емпіричного Байєса, а не більш загальним закликом розглянути переваги обох шкіл думки. Ну добре.
Cliff AB

2

У контексті цього класу з науковими даними, моє тлумачення "перевірити як частость" полягає в тому, що ви оцінюєте виконання своєї функції передбачення або функції прийняття рішення щодо даних про витримку перевірки. Порада "думати як байєсів" виражає думку, що функція передбачення, що випливає з байєсівського підходу, як правило, дасть хороші результати.


(грає захисника диявола :) Чому баєсівський підхід повинен давати "хороші результати", а частістські - ні?
Тім

Баєсові методи є розпорядчим щодо підходу. Статистику частотологів можна розглядати як частину теорії рішень, і вона дає основу для оцінки будь-якої функції прийняття рішень (незалежно від того, чи базується вона на байєсівському або якомусь принципі частотистів). Окремі методи, такі як методи максимальної ймовірності, часто використовуються в умовах частізму, оскільки вони мають хороші частістські властивості (наприклад, асимптотично вони роблять правильно, і вони потрапляють туди швидше, ніж більшість інших методів). Байєсівський метод, безумовно, може бути використаний частолістами, але вони мали б різні причини його використання.
DavidR

Баєсові методи також мають багато спільного з теорією рішень. Я також не думаю, що байєсівські методи можна застосовувати в контексті частолістів (як ви могли б уявити використання пріорів у контексті частолістів?) - це навпаки: у багатьох частолістських методах є байєсівські інтерпретації. Я не думаю, що в цьому є сенс обговорювати, про що я кажу, що ваші заяви трохи спрощують речі.
Тім

Можна довести безліч приємних частістських властивостей щодо байєсівських підходів, тож у цьому сенсі робити щось баєсійське досить безпечно, якщо у вас є достатня кількість даних.
DavidR

1
Припустимо, я хочу оцінити ймовірність p голів у монети. Як Байєс, я би почав з попереднього на ймовірності р, я спостерігав би деякі дані, і тоді я отримав би задню частину на p. Нам потрібно придумати точкову оцінку p, і я вирішу використовувати середнє значення мого заднього розподілу в якості моєї точкової оцінки. Все сказане, це описує спосіб переходу від даних до бальної оцінки. Цей метод можна оцінити часто-часто: наприклад, чи це упереджено? послідовний? асимптотично ефективний? Той факт, що був причетний до участі в роботі, сам по собі не повинен стосуватися частолістів.
DavidR

1

Це звучить як «думай, як байєсів, перевіряй, як частість», посилається на підхід у статистичному дизайні та аналізі. Як я розумію, байєсівське мислення передбачає певну віру щодо попередніх ситуацій (експериментально чи статистично), скажімо, наприклад, що середній бал читання для 4-х класів становить 80 слів на хвилину, і що деяке втручання може збільшити це до 90 слів в хвилину . Це переконання, засновані на попередніх дослідженнях та гіпотезах. Часте мислення екстраполює результати (втручання) для отримання інтервалів довіри або іншої статистики, яка базується на теоретичній та практичній частоті чи ймовірності того, що ці результати повторюються (тобто, як "часто"). Наприклад, показник читання після втручання може становити 91 слово в хвилину з 95% довірчим інтервалом від 85 до 97 слів в хвилину і пов'язане з ним p-значення (значення ймовірності), яке відрізняється від показника до втручання. Таким чином, 95% часу, кількість нових читань складе від 85 до 97 слів за хвилину після втручання. Тому "думайте як байєсів" --- тобто теоретизуйте, гіпотезуйте, дивіться на попередні докази та "перевіряйте, як частість" --- тобто, наскільки часто трапляться ці експериментальні результати, і наскільки вірогідними вони будуть шанс, а не втручання. нові показники читання становлять від 85 до 97 слів за хвилину після втручання. Тому "думайте як байєсів" --- тобто теоретизуйте, гіпотезуйте, дивіться на попередні докази та "перевіряйте, як частість" --- тобто, наскільки часто трапляться ці експериментальні результати, і наскільки вірогідними вони будуть шанс, а не втручання. нові показники читання становлять від 85 до 97 слів за хвилину після втручання. Тому "думайте як байєсів" --- тобто теоретизуйте, гіпотезуйте, дивіться на попередні докази та "перевіряйте, як частість" --- тобто, наскільки часто трапляться ці експериментальні результати, і наскільки вірогідними вони будуть шанс, а не втручання.


2
Ваше останнє речення - частина "перевірити як частолістська" - насправді не має нічого спільного з частоталістичними установками: оцінка Байєса також сказала б вам, "наскільки часто" ми очікуємо, що щось трапиться, або "наскільки ймовірно" це ...
Тім
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.