Інтуїція теореми Байєса

22

Я намагався розвинути на основі інтуїції розуміння теореми Байєса з точки зору попередньої , задньої , вірогідності та граничної ймовірності. Для цього я використовую таке рівняння: де являє собою гіпотезу чи переконання, а являє собою дані чи докази. Я зрозумів поняття заднього - це об'єднавча сутність, яка поєднує попередню віру та ймовірність події. Що я не розумію, що означає ймовірність ? І чому маргінальний

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
ймовірність у знаменнику?
Переглянувши пару ресурсів, я натрапив на цю цитату:

Імовірність є вага події визначається виникненням ... є задній ймовірністю події , за умови , що подія сталася. $B$ $A$ $P(B|A)$ $B$ $A$

Вищеописані 2 твердження мені здаються ідентичними, просто написаними по-різному. Чи може хто-небудь пояснити, будь ласка, різницю між ними?

bayesian likelihood intuition

— Анас Аюбі
джерело

4

Ви маєте помилку (або помилкове уявлення). має бути "гіпотезою чи переконанням", а - "даними чи доказами" у вашій формулюванні.

B

$B$

A

$A$

— gung - Відновити Моніку

1

дивіться мою відповідь на math.stackexchange.com/a/1943255/1505 , саме так я зрозумів її інтуїтивно

— Ліндон Уайт

27

Хоча в законі Байєса є чотири компоненти, я вважаю за краще три понятійні компоненти:

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

До є те , що ви думали про , перш зустрівши нову і відповідну частину інформації (тобто, ). $B$ $A$
Задній є те , що ви вірите (або повинен, якщо ви раціональні) про після зустрівши нову і відповідну частину інформації. $B$
Фактор ймовірності , розділений на граничній імовірності нової інформації індексів інформативності нової інформації для ваших уявлень про . $B$

— gung - Відновити Моніку
джерело

19

Вже є кілька хороших відповідей, але, можливо, це може додати щось нове ...

Я завжди думаю про правило Байєса з точки зору ймовірностей компонентів, які можна зрозуміти геометрично в умовах подій і як зображено нижче. $A$ $B$

Гранична ймовірність і задаються площ відповідних кіл. Усі можливі результати представлені , що відповідає набору подій " або ". У спільних ймовірностей відповідає події « і ». $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

У цьому рамках умовні ймовірності в теоремі Байєса можна розуміти як співвідношення площ. Імовірність задана - частка зайнята , виражена Аналогічно, ймовірність задано - частка зайнята , тобто $A$ $B$ $B$ $A \cap B$

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

Теорема Байєса насправді є лише математичним наслідком наведених вище визначень, які можна перезапустити як I знайти цю симетричну форму теореми Байєса набагато простіше запам'ятати. Тобто ідентичність має місце незалежно від того, який або позначений як "попередній" проти "задній".

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Ще один спосіб розуміння вищезгаданої дискусії наведений у моїй відповіді на це питання з точки зору більш «бухгалтерської таблиці».)

— GeoMatt22
джерело

9

@gung має чудову відповідь. Я додав би один приклад, щоб пояснити "посвячення" на прикладі реального світу.

Для кращого зв’язку з прикладами реального світу, я хотів би змінити позначення, де використовують для представлення гіпотези ( у вашому рівнянні), а використовувати для представлення доказів. ( у вашому рівнянні.) $H$ $A$ $E$ $B$

Отже, формула така

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Зауважте, та сама формула може бути записана як

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

де означає пропорційне, а - ймовірність, а - пріоритет . Це рівняння означає, що задня частина буде більшою, якщо права частина рівняння більша. І ви можете подумати про - константа нормалізації, щоб перетворити число на вірогідність (причина, по якій я кажу, що це константа, це тому, що докази вже наводяться.). $\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

Для прикладу реального світу, припустимо, ми виявляємо шахрайство щодо трансакцій кредитними картками. Тоді гіпотеза буде де представлення транзакції є нормальним або шахрайським. (Я вибрав крайній неврівноважений випадок, щоб показати інтуїцію). $H \in \{0,1\}$

З доменних знань, ми знаємо, що більшість транзакцій було б нормальним, лише дуже мало шахрайств. Припустимо, експерт сказав, що на було б шахрайством. Таким чином , ми можемо сказати , що до є і . $1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

Кінцевою метою є обчислення що означає, що ми хочемо знати, чи є транзакція шахрайством, яке не ґрунтується на доказах на додаток до попередніх . Якщо ви подивитеся на праву частину рівняння, ми розкладемо його на вірогідність та на попереднє . $P(H|E)$

Там, де ми вже пояснювали те, що є попереднім , тут ми пояснюємо, що таке ймовірність. Припустимо, у нас є два типи доказів, які представляють, якщо ми бачимо нормальне або дивне географічне розташування транзакції. $E\in\{0,1\}$

Ймовірність може бути невеликою, що означає, що дана нормальна транзакція, дуже малоймовірно, що місце дивно. З іншого боку, може бути великим. $P(E=1|H=0)$ $P(E=1|H=1)$

Припустимо, ми спостерігали, що ми хочемо побачити, чи це шахрайство чи ні, нам потрібно враховувати і попереднє, і ймовірне . Інтуїтивно, з попереднього рівня, ми знаємо, що шахрайських операцій дуже мало, ми, ймовірно, будемо дуже консервативно скласти класифікацію шахрайства, якщо тільки докази не є дуже сильними. Тому продукт між двома розглядатиме два фактори одночасно. $E=1$

— Хайтао Ду
джерело

Я думаю, що може бути помилка друку в попередньому : має бути а , правда?

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

— gc5

1

Зауважте, що правило Байєса є

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$ .

Зверніть увагу на співвідношення

\frac{P (b, a)}{P (b) P (a)} .

$\frac{P(b,a)}{P(b)P(a)}.$

Якщо , то . Тож це майже як сказати нам, наскільки суглоб відхиляється від повної незалежності, або скільки інформації мають змінні спільного. $B \perp A$ $P(b,a)=P(b)P(a)$

Цікаво, що журнал цього співвідношення також присутній у взаємній інформації:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— user0
джерело

0

Я часто зустрічаю перегляд теореми як таблиці, з можливими результатами для "B" як рядків та можливими результатами для "A" як стовпців. Спільні ймовірності - значення для кожної комірки. У цій таблиці ми маємо $P(A,B)$

ймовірність = пропорції рядків posterior = пропорції стовпців

Попередній і граничний аналогічно визначаються, але на основі "підсумків" замість конкретного стовпця

гранична = загальна кількість рядків попередня = загальна пропорція стовпця

Я знаходжу це допомагає мені.

— ймовірністьіслогічна
джерело