Яка ймовірність того, що ця людина жінка?

За завісою стоїть людина - я не знаю, людина це жінка чи чоловік.

Я знаю, що у людини довге волосся, і що 90% всіх людей з довгим волоссям - жінки

Я знаю, що людина має рідкісну групу крові AX3, і 80% всіх людей із цією групою крові - жінки.

Яка ймовірність того, що людина є жінкою?

ПРИМІТКА. Цю оригінальну рецептуру було розширено ще двома припущеннями: 1. Кров і довжина волосся незалежні 2. Співвідношення чоловік: жінка в цілому популяції становить 50:50

(Конкретний сценарій тут не настільки актуальний - швидше, у мене є невідкладний проект, який вимагає, щоб я зрозумів правильний підхід до відповіді на це. Моє відчуття кишки полягає в тому, що це питання простої ймовірності, з простою остаточною відповіддю, а не ніж щось із кількома дискусійними відповідями відповідно до різних статистичних теорій.)

Багатьом людям вважається корисним мислити під "підгрупою", підгрупами в ньому та пропорцій (а не ймовірностей). Це піддається візуальним міркуванням.

Я детально поясню цифри, але наміром є те, що швидке порівняння двох фігур повинно негайно і переконливо вказати, як і чому конкретної відповіді на питання не можна дати. Трохи довший розгляд підкаже, яка додаткова інформація була б корисною для визначення відповіді або принаймні отримання меж відповідей.

Легенда

Перехресне штрихування : жіночий / Суцільний фон : чоловічий.

Верх : довгошерстий / знизу : короткошерсті.

Праворуч (і кольоровий) : AX3 / зліва (без ) : не AX3.

Дані

Верхня поперечна штрихування - 90% верхнього прямокутника ("90% всіх людей з довгим волоссям - жінки").

Загальний штрихування прямокутного прямокутника становить 80% цього прямокутника ("80% всіх людей із цією групою крові - жінки").

Пояснення

На цій схемі схематично показано, як популяція (всіх розглянутих жінок і не жінок) може бути одночасно поділена на жінок / не-самок, AX3 / non-AX3, і довгошерстих / недовгих ("короткий"). Він використовує область, принаймні приблизно, для представлення пропорцій (є деяке перебільшення, щоб зробити зображення більш чітким).

Очевидно, що ці три бінарні класифікації створюють вісім можливих груп. Тут з’являється кожна група.

Наведена інформація зазначає, що верхній хрестоподібний прямокутник (жінки з довгими волоссями) складає 90% верхнього прямокутника (всі довгошерсті люди). Він також зазначає, що комбіновані зшиті частини кольорових прямокутників (довгошерсті самки з AX3 і короткошерсті самки з AX3) складають 80% кольорової області справа (всі люди з AX3). Нам кажуть, що хтось лежить у верхньому правому куті (стрілка): довгошерсті люди з AX3. Яка частка цього прямокутника є хрестоподібною (жіночої)?

Я також (неявно) припускав, що група крові та довжина волосся незалежні : пропорція верхнього прямокутника (довге волосся), пофарбованого (AX3), дорівнює частці нижнього прямокутника (коротке волосся), що має забарвлення (AX3). Ось що означає незалежність. Це є справедливим і природним припущенням при вирішенні таких питань, як це, але, звичайно, це потрібно зазначити.

Положення верхнього прямокутного прямокутника (довгошерсті самки) невідоме. Ми можемо уявити ковзання верхнього хрестоподібного прямокутника в бік і ковзання нижнього хрестоподібного прямокутника в бік і, можливо, зміну його ширини. Якщо ми зробимо це так, щоб 80% кольорового прямокутника залишилося перехрещеним, така зміна не змінить жодної із заявлених відомостей, але вона може змінити частку жінок у правому верхньому прямокутнику. Очевидно, що пропорція може бути від 0% до 100% і все ж відповідати наданій інформації, як на цьому зображенні:

---

Сильною стороною цього методу є те, що він встановлює наявність безлічі відповідей на питання. Можна було б перекласти все це алгебраїчно і, встановивши ймовірності, запропонувати конкретні ситуації як можливі приклади, але тоді виникає питання, чи дійсно такі приклади відповідають даним. Наприклад, якщо хтось хотів би припустити, що, можливо, 50% довгошерстих людей - це AX3, спочатку не очевидно, що це можливо навіть з огляду на всю наявну інформацію. Ці (веннові) діаграми населення та його підгруп пояснюють такі речі.

Це питання умовної ймовірності. Ви знаєте, що людина має довге волосся та групу крові Ax3. Нехай A = { 'У людини довге волосся' } Отже, ви шукаєте P ( C | A і B ) . Ви знаєте, що P ( C | A ) = 0,9 і P ( C | B ) = 0,8 . Чи достатньо цього для обчислення P ( C | A і B ) ? Припустимо, P ( A і B і C ) =

$$\ \ \ \ \ A =\{\text{'The person has long hair'}\}\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ B = \{\text{'The person has blood type Ax3'}\} \\ C =\{\text{'The person is female'}\}.$$
$P(C|A\ \text{and}\ B)$$P(C|A)=0.9$$P(C|B)=0.8$
$P(C|A\ \text{and}\ B)$$P(A\ \text{and}\ B\ \text{and}\ C)=0.7$. Тоді Припустимо, P ( A і B ) = 0,8 . Тоді, сказаним вище, P ( C | A і B ) = $$P(C|A\ \text{and}\ B)=P(A\ \text{and}\ B\ \text{and}\ C)/ P(A\ \text{and}\ B)=0.7/P(A\ \text{and}\ B).$$ $P(A\ \text{and}\ B)=0.8$$P(C|A\ \text{and}\ B)=0.875$. З іншого боку, якщо , тоді у нас P ( C | A і B ) = 0,78.$P(A\ \text{and}\ B)=0.9$$P(C|A\ \text{and}\ B)$

Тепер обидва можливі, коли і P ( C | B ) = 0,8 . Тож ми не можемо точно сказати, що таке P ( C | A і B ) .$P(C|A)=0.9$$P(C|B)=0.8$$P(C|A\ \text{and}\ B)$

Захоплююча дискусія! Мені цікаво, чи ми вказали також P (A) і P (B), чи діапазони P (C | A, B) не будуть набагато вужчими, ніж повний інтервал [0,1], просто через безліч обмежень ми маємо.

Дотримуючись позначення, введеного вище:

A = випадок, коли у людини довге волосся

B = випадок, коли у людини є група крові AX3

C = подія, що людина жіноча

P (C | A) = 0,9

P (C | B) = 0,8

P (C) = 0,5 (тобто припустимо рівне співвідношення чоловіків і жінок у цілому популяції)

не здається можливим припустити, що події А і В умовно незалежні, задані С! Це призводить безпосередньо до суперечності: якщо $P(A \wedge B | C) = P(A| C) \cdot P(B| C) = P(C| A) \frac{P(A)}{P(C)} \cdot P(C| B) \frac{P(B)}{P(C)}$

потім

$P(C| A \wedge B ) = P(A \wedge B | C) \cdot \left( \frac{P(C)}{P(A \wedge B)} \right) = P(C| A) \frac{P(A)}{P(C)} \cdot P(C| B) \frac{P(B)}{P(C)} \cdot \left( \frac{P(C)}{P(A \wedge B)} \right)$

Якщо тепер припустити, що A і B також незалежні: більшість термінів скасовується, і ми закінчуємо$P(A \wedge B) = P(A) P(B)$

$P(C| A \wedge B ) = \frac{P(C| A) \cdot P(C| B)}{P(C)} = \frac{0.9 \cdot 0.8}{0.5} > 1$

Слідкуючи за чудовим геометричним поданням проблеми Ваубера: Хоча це правда, що в цілому може приймати будь-яке значення в інтервалі [ 0 , 1 ], геометричні обмеження значно звужують діапазон можливих значень для значення P ( A ) і P ( B ) , які не "занадто малі". (Хоча ми також можемо верхню межу поля: P ( A ) і P ( B ) )$P(C | A \wedge B)$$[0,1]$$P(A)$$P(B)$$P(A)$$P(B)$

Обчислимо {\ bf найменше можливе значення} для при таких геометричних обмеженнях:$P(C | A \wedge B)$

1. Частка верхньої площі (A ІСТИНА), охоплена верхнім прямокутником, повинна дорівнювати $P(C|A)=0.9$

2. Сума площ двох прямокутників повинна бути рівною $P(C)=0.5$

3. Сума частки площ двох кольорових прямокутників (тобто їх перекриття з подією B) повинна бути рівною $P(C|B)=0.8$

4. (тривіальний) Верхній прямокутник не можна переміщувати за ліву межу і не повинен переміщуватися за межі його мінімального перекриття ліворуч.

5. (тривіальний) Нижній прямокутник не можна переміщувати за межею правої межі і не повинен переміщуватися за межі його максимального перекриття праворуч.

$P(C | A \wedge B)$

Пробіг через діапазон можливих значень для P (A) і P (B) ( R скрипт ) генерує цей графік

На закінчення ми можемо знизити межу умовної ймовірності P (c | A, B) для заданих P (A), P (B)

Зробити гіпотези, що людина за шторою - жінка.

Ми надали 2 докази, а саме:

Докази 1: Ми знаємо, що людина має довге волосся (і нам кажуть, що 90% всіх людей з довгим волоссям - жінки)

Докази 2: Ми знаємо, що людина має рідкісну групу крові AX3 (і нам кажуть, що 80% всіх людей із цією групою крові жінки)

Враховуючи лише докази 1, ми можемо стверджувати, що людина, що знаходиться за завісою, має значення 0,9 ймовірності бути жінкою (якщо припустити, що 50:50 розбивається між чоловіками та жінками).

Що стосується питання, поставленого раніше в потоці, а саме "Чи погоджуєтесь ви, що відповідь має бути ВЕЛИКОМ 0,9?", Не роблячи жодної математики, я б сказав інтуїтивно, відповідь повинна бути "так" (це ВЕЛИКО 0,9). Логіка полягає в тому, що докази 2 підтримують докази (знову ж таки, якщо припустити розкол 50:50 для кількості чоловіків і жінок у світі). Якби нам сказали, що 50% всіх людей з кров’ю типу AX3 були жінками, тоді дані Докази 2 були б нейтральними і не мали стосунку. Але оскільки нам кажуть, що 80% всіх людей із цією групою крові є жінками, докази 2 підтверджують докази і, логічно, слід підштовхнути остаточну ймовірність жінки вище 0,9.

Щоб обчислити конкретну ймовірність, ми можемо застосувати правило Байєса для Доказів 1, а потім скористатися байєсівським оновленням, щоб застосувати Докази 2 до нової гіпотези.

Припустимо:

A = випадок, коли у людини довге волосся

B = випадок, коли у людини є група крові AX3

C = випадок, коли людина жінка (припустимо, 50%)

Застосування правила Байєса до Доказів 1:

P (C | A) = (P (A | C) * P (C)) / P (A)

У цьому випадку ще раз, якщо припустити, що 50:50 розбивається між чоловіками та жінками:

P (A) = (0,5 * 0,9) + (0,5 * 0,1) = 0,5

Отже, P (C | A) = (0,9 * 0,5) / 0,5 = 0,9 (Не дивно, але було б інакше, якби у нас не було 50:50 розбиття між чоловіками та жінками)

Використовуючи байєсівське оновлення для застосування доказів 2 та підключення до 0,9 як нової попередньої ймовірності, ми маємо:

P (C | A AND B) = (P (B | C) * 0,9) / P (E)

Тут P (E) - вірогідність доказів 2, враховуючи гіпотези, що людина вже має 90% шансів бути жінкою.

P (E) = (0,9 * 0,8) + (0,1 * 0,2) [це закон повної ймовірності: (P (жінка) * P (AX3 | жінка) + P (чоловік) * P (AX3 | чоловік)] Отже , P (E) = 0,74

Отже, P (C | A AND B) = (0,8 * 0,9) / 0,74 = 0,97297

Питання Перестановка та узагальнення

$A$, $B$, і $C$ є бінарними невідомими, можливі значення яких є $0$ і $1$. Дозволяє$Z_i$ стояти за пропозицією "Значення $Z$ є $i$". Також нехай $(X | Y)$ стенд за "Ймовірність того $X$, враховуючи це $Y$". Що $(A_a | B_b C_c I)$, враховуючи це

1. $(A_{a_1} | B_{b_1} I) = u_1$ і $(A_{a_2} | C_{c_2} I) = u_2$
2. $(A_{a_1} | B_{b_1} I) = u_1$ і $(A_{a_2} | C_{c_2} I) = u_2$ і $(B C | I) = (B | I)(C | I)$
3. $(A_{a_1} | B_{b_1} I) = u_1$ і $(A_{a_2} | C_{c_2} I) = u_2$ і $(A_0 | I) = \frac{1}{2}$
4. $(A_{a_1} | B_{b_1} I) = u_1$ і $(A_{a_2} | C_{c_2} I) = u_2$ і $(A_0 | I) = \frac{1}{2}$ і $(B C | I) = (B | I)(C | I)$

і це $I$не містить відповідної інформації, окрім того, що міститься в завданнях? Останній зв'язок умов 2 і 4 є скороченням заяви про незалежність

$$(B_j C_k | I) = (B_j | I)(C_k | I) \quad , \quad j = 0, 1 \quad k = 0,1$$ Розглядайте по черзі кожен із чотирьох випадків.

Відповіді

Випадок 1

Треба вказати розподіл $(ABC | I)$. Проблема недостатньо визначена, оскільки$(ABC | I)$ вимагає вісім чисел, але у нас є лише три рівняння - дві задані умови та умова нормалізації.

За допомогою різних езотеричних засобів було показано, що розподіл, який слід призначити, коли інформація не визначає інакше рішення, є тим, який з усіх розподілів, що відповідають відомій інформації, має найбільшу ентропію. Будь-яке інше розповсюдження означає, що ми знаємо більше, ніж відома інформація, що, звичайно, є суперечливістю.

Тому нам потрібно лише призначити максимальний розподіл ентропії. Це простіше сказати, ніж зробити, і я не знайшов загального рішення закритої форми. Але конкретні рішення можна знайти за допомогою цифрового оптимізатора. Ми максимізуємо

$$- \sum_{i,j,k} (A_i B_j C_k | I) \ln (A_i B_j C_k | I)$$ з урахуванням обмежень $$\sum_{i,j,k} (A_i B_j C_k | I) = 1$$ і $$(A_{a_1} | B_{b_1} I) = u_1 \quad\quad \text{i.e.} \quad \frac{\sum\limits_k (A_{a_1} B_{b_1} C_k | I )}{\sum\limits_{i,k} (A_i B_{b_1} C_k | I)} = u_1$$ і $$(A_{a_2} | C_{c_2} I) = u_2 \quad\quad \text{i.e.} \quad \frac{\sum\limits_j (A_{a_2} B_j C_{c_2} | I)}{\sum\limits_{i,j} (A_i B_j C_{c_2} | I)} = u_2$$ Тепер застосуємо це до питання. Якщо у нас є

1. "Особа жінка" $\longleftrightarrow A_1$
2. "У людини довге волосся" $\longleftrightarrow B_1$
3. "У людини група крові AX3" $\longleftrightarrow C_1$

потім $a = 1$, $b = 1$, $c = 1$, $a_1 = 1$, $b_1 = 1$, $a_2 = 1$, $c_2 = 1$, $u_1 = 0.9$, $u_2 = 0.8$, і ми виявляємо, що для рішення максимальної ентропії, $(A_1 | B_1 C_1 I) \simeq 0.932$. Тому ймовірність того, що людина за шторою є жінкою, враховуючи, що у нього довге волосся та група крові AX3, становить 0,932.

Випадок 2

Тепер ми повторимо вправу з додатковим обмеженням, яке для даної людини, знаючи значення $B$ (стан волосся) не впливає на нашу оцінку вартості $C$(стан крові), і навпаки. Все так само, як у випадку 1, за винятком двох додаткових обмежень в оптимізації, а саме:

$$\begin{align*} (B_0 | C_l I) &= (B_0 | I) \quad , \quad l = 0, 1 \\ \end{align*}$$ тобто $$\begin{align*} \frac{\sum\limits_i (A_i B_0 C_l | I)}{\sum\limits_{i,j} (A_i B_j C_l | I)} &= \sum_{i,k} (A_i B_0 C_k | I) \quad , \quad l = 0, 1 \end{align*}$$ Це дає $(A_1 | B_1 C_1 I) \simeq 0.936$, тому ймовірність того, що людина за шторою є жінкою, враховуючи, що у нього довге волосся і група крові AX3, становить 0,936.

Випадок 3

Тепер ми видаляємо умову незалежності та замінюємо її попередньою умовою, що існує однаковий шанс того, що дана людина є чоловіком чи жінкою:

$$(A_0 | I) = \frac{1}{2} \quad \quad \text{i.e.} \quad \sum_{j,k} (A_0 B_j C_k | I) = \frac{1}{2}$$ Цього разу $(A_1 | B_1 C_1 I) \simeq 0.973$, тому ймовірність того, що людина за шторою є жінкою, враховуючи, що у нього довге волосся та група крові AX3, становить 0,973.

Випадок 4

Нарешті ми знову вводимо обмеження незалежності випадку 2 і знаходимо це $(A_1 | B_1 C_1 I) \simeq 0.989$. Тому ймовірність того, що людина за шторою є жінкою, враховуючи, що у нього довге волосся і група крові AX3, становить 0,989.

Зараз я вважаю, що якщо припустити співвідношення чоловіків і жінок у цілому серед населення, то існує одна незаперечна відповідь.

A = випадок, коли у людини довге волосся

B = випадок, коли у людини є група крові AX3

C = подія, що людина жіноча

P (C | A) = 0,9

P (C | B) = 0,8

P (C) = 0,5 (тобто припустимо рівне співвідношення чоловіків і жінок у цілому популяції)

Тоді P (C | A і B) = [P (C | A) x P (C | B) / P (C)] / [[P (C | A) x P (C | B) / P (C )] + [[1-P (C | A)] x [1-P (C | B)] / [1-P (C)]]]

у цьому випадку P (C | A і B) = 0,972973

Примітка. Щоб отримати остаточну відповідь, наведені нижче відповіді передбачають, що ймовірність того, що у людини, довгошерстого чоловіка та у жінок з довгими волоссями AX3 приблизно однакова. Якщо бажано більшої точності, це слід перевірити.

Ви починаєте з того, що у людини довге волосся, тож у цей момент шанси:

90:10

Примітка . Співвідношення чоловіків до жінок в цілому популяції для нас не має значення, коли ми дізнаємося, що у людини довге волосся. Наприклад, якби в загальній популяції була 1 жінка на сотню, випадково вибрана довгошерста людина все-таки була б жінкою в 90% часу. Співвідношення жінок до самця НЕ має значення! (детальніше див. оновлення нижче)

Далі ми дізнаємось, що людина має AX3. Оскільки AX3 не пов'язаний з довгим волоссям, відомо, що співвідношення чоловіків і жінок становить 50:50, і через наше припущення, що ймовірність однакова, ми можемо просто помножити кожну сторону ймовірності та нормалізувати так, щоб сума сторони ймовірності дорівнюють 100:

(90:10) * (80:20)
==> 7200:200

    Normalize by dividing each side by (7200+200)/100 = 74

==> 7200/74:200/74
==> 97.297.. : 2.702..

Таким чином, ймовірність того, що людина за шторою є жінкою, становить приблизно 97,297%.

ОНОВЛЕННЯ

Ось подальше вивчення проблеми:

Визначення:

f - number of females
m - number of males
fl - number of females with long hair
ml - number of males with long hair
fx - number of females with AX3
mx - number of males with AX3
flx - number of females with long hair and AX3
mlx - number of males with long hair and AX3
pfl - probability that a female has long hair
pml - probability that a male has long hair
pfx - probability that a female has AX3
pmx - probability that a male has AX3

По-перше, нам відомо, що 90% довгошерстих жінок - це жінки, а 80% людей з AX3 - жінки, тому:

fl = 9 * ml
pfl = fl / f
pml = ml / m 
    = fl / (9 * m)

fx = 4 * mx
pfx = fx / f
pmx = mx / m 
    = fx / (4 * m)

Оскільки ми припускали, що ймовірність AX3 не залежить від статі та довгого волосся, наш розрахунковий pfx застосовуватиметься до жінок з довгим волоссям, а pmx застосовуватиметься до чоловіків з довгим волоссям, щоб знайти кількість тих, хто, ймовірно, має AX3:

flx = fl * pfx 
    = fl * (fx / f) 
    = (fl * fx) / f
mlx = ml * pmx 
    = (fl / 9) * (fx / (4 * m)) 
    = (fl * fx) / (36 * m)

Таким чином, вірогідне відношення кількості самок з довгим волоссям та AX3 до кількості самців з довгим волоссям та AX3 становить:

flx             :   mlx
(fl * fx) / f   :   (fl * fx) / (36 * m)
1/f             :   1 / (36m)
36m             :   f

Оскільки дано, що існує однакова кількість 50:50, ви можете скасувати обидві сторони і закінчити з 36 самками для кожного самця. В іншому випадку в зазначеній підгрупі є жінки 36 * м / ф . Наприклад, якби було вдвічі більше жінок, ніж чоловіків, на кожного чоловіка з тих, хто має довге волосся та AX3, було б 72 жінки.

98% жіноча, проста інтерполяція. Перше приміщення 90% жіночої статі, листя 10%, друге приміщення залишає лише 2% існуючих 10%, отже 98% жінок