Наскільки дивним є скупчення літальних аварій?

Оригінальне запитання (25.07.14): Чи має сенс ця цитата ЗМІ, чи існує кращий статистичний спосіб перегляду пластика останніх авіакатастроф?

Однак Барнетт також звертає увагу на теорію розподілу Пуассона, з якої випливає, що короткі проміжки між аваріями насправді є більш вірогідними, ніж довгі.

"Припустимо, що в середньому трапляється одна смертельна аварія на рік. Це означає, що шанс аварії в будь-який день є один з 365", - каже Барнетт. "Якщо аварія відбудеться 1 серпня, ймовірність, що наступна аварія відбудеться через день 2 серпня, становить 1/365. Але ймовірність наступної аварії 3 серпня становить (364/365) x (1/365) , оскільки наступна аварія відбувається 3 серпня, лише якщо 2 серпня не буде аварії ".

"Це здається протизаконним, але висновок невпинно випливає із законів вірогідності", - говорить Барнетт.

Джерело: http://www.bbc.com/news/magazine-28481060

Пояснення (27.07.14): Що протилежне інтуїтивному (на мене), говорить про те, що рідкісні події, як правило, відбуваються близько в часі. Інтуїтивно я думаю, що рідкісні події не відбудуться близько в часі. Чи може хтось вказати мені на теоретичний чи емпіричний очікуваний розподіл часу між подіями при припущеннях розподілу Пуассона? (Тобто гістограма, де вісь y є частотою або ймовірністю, а вісь x - час між двома послідовними подіями, згрупованими у дні, тижні, місяці чи роки тощо). Дякую

Пояснення (7/28/14): Заголовок означає, що швидше за все виникають скупчення аварій, ніж аварії з широким розміщенням. Нехай це операціоналізує. Скажімо, кластер - це 3 авіакатастрофи, а короткий проміжок часу - 3 місяці, а тривалий - 3 роки. Думається, нелогічно вважати, що існує більша ймовірність того, що 3 аварії трапляться протягом 3 місяців, ніж протягом 3 років. Навіть якщо ми сприймемо першу ДТП як дану, нелогічно думати, що протягом наступних 3 місяців відбудеться ще 2 аварії порівняно з наступними 3 роками. Якщо це правда, то заголовок ЗМІ вводить в оману та неправильно. Я щось пропускаю?

Короткий зміст: Перше речення у цитованому абзаці BBC є неохайним та оманливим.

Незважаючи на те, що попередні відповіді та зауваження вже давали чудову дискусію, я вважаю, що на головне питання відповіли не задовільно.

Отже , давайте припустимо , що ймовірність авіакатастрофи в будь-який день є і що аварії не залежать один від одного. Давайте припустимо, що один літак розбився 1 січня. Коли наступний літак зазнав аварії?$p=1/365$

Що ж, давайте зробимо просте моделювання: щодня протягом наступних трьох років я випадковим чином вирішуватиму, чи розбився інший літак із ймовірністю та відзначу день наступної аварії; Я повторю цю процедуру $p$ разів. Ось отримана гістограма:$100\,000$

Насправді розподіл ймовірностей просто задається , де t - кількість днів. Я побудував цей теоретичний розподіл як червону лінію, і ви можете бачити, що він добре підходить до гістограми Монте-Карло. Зауваження: якби час був дискретизований у менших і менших бункерах, цей розподіл переходив би до експоненціального; але це не дуже важливо для цієї дискусії.$\mathrm{Pr}(t) = (1-p)^t p$$t$

Як вже багато хто зауважив тут, це крива, що спадає . Це означає, що ймовірність того, що наступний літак зазнає аварії наступного дня, 2 січня, перевищує ймовірність того, що наступний літак зазнає аварії в будь-який інший день, наприклад, 2 січня наступного року (різниця майже втричі: і 0,10 % ).$0.27\%$$0.10\%$

$0.8\%$$94\%$ Ось чому навіть при монотонному зменшенні розподілу ймовірностей напевно можливо, що "скупчення" (наприклад, дві аварії літака за три дні) є дуже малоймовірними.

Ось ще одна гістограма, щоб реально зрозуміти цю точку. Це просто сума попередньої гістограми за кілька непересічних часових періодів:

Що говорить репортер, це те, що випадкове виникнення авіакатастрофи можна моделювати як процес Пуассона - ситуацію, коли ймовірність події, яка відбудеться через деякий (малий) інтервал, пропорційна довжині зазначеного інтервалу і де кожна подія в незалежному від усіх інших.

Це розумна модель для описаного сценарію?

Ймовірно.

Звичайно, ці події можуть бути не на 100% незалежними, оскільки інші пілоти, можливо, змінюють свою поведінку (хоч і дуже незначно) після краху. [Я не знаю - можливо, декілька пілотів роблять додатковий тренувальний тренажер чи щось подібне]. Тим не менш, припущення про незалежність все ще цілком обґрунтоване.

Що з скупченнями авіакатастроф?

Так. З огляду на пуассоновский процес (або навіть деякий інший випадковий процес), ви б очікувати , щоб побачити деякі кластери входжень.

Насправді, як описано Оксфордським словником статистики у його записі про процес Пуассона (що є "математичним описом випадковості"):

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Наприклад, ознайомтеся з цим простим бітом коду R :

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

яка виробляє:

Незважаючи на те, що ми знаємо, що це графік випадкових точок, він виглядає так, що до нього є деякі не випадкові біти - конкретно, в деяких частинах графіка є згустки точок, а інші частини широко відкриті. Стаття намагається описати саме таку поведінку (лише з даними часових рядів, а не просторовими даними).

ОНОВЛЕННЯ:

@JoelW. Так, скажімо, наприклад, ймовірність того, що завтрашній день падіння літака (або будь-якого дня з цього питання) є " p " (і, скажімо, " p " - це щось на зразок 1 на сотню).

Причина, через яку наступна авіакатастрофа швидше відбудеться завтра, ніж це швидше відбудеться рівно через рік (тобто 26 липня 2015 року ), тому що ймовірність того, що наступна катастрофа відбудеться рівно за рік, дорівнює:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

Мати сенс?

В кінці кінців, я думаю , що причина , ці речі нелогічні, бо зазвичай , коли ми думаємо , що фрази , як: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Ми, природно, не відразу враховуємо 24-годинний період, який починається рівно через місяць. Натомість ми (або принаймні це роблю) схильні думати про це більш, добре, гнучко . Так більше як: a month ± a week. Це і той факт, що ми забуваємо про врахування шансів аварії, що не відбувається тимчасово ... (Але знову ж таки, можливо, це тільки я ...).

Фу!

Додаткові ресурси:

• Стаття Вікіпедії про ілюзію кластера
• PDF , який специфічно згадує «кластеризація» плоских аварій (на сторінці 8) і коротко описує математику в процесі Пуассона .

Якщо кількість авіакатастроф розподіляється Пуассоном (як він, здається, заявляє), час між аваріями має експоненціальний розподіл. Pdf експоненціального розподілу є монотонною функцією зменшення часу. Отже, попередні збої є більш імовірними, ніж пізніші збої.

Інші відповіді вже стосувалися того, як кластеризують незалежні події. (Читання Хаока Гліка, всі ті роки тому, відкрило мені очі на цю ідею.)

Але насправді є вагомі докази того, що авіакатастрофи не є незалежними подіями. Вплив Чіалдіні має дуже хороший розділ про це ( тут також згадувалося, що має кілька посилань на дані; і я знайшов уривок цієї частини книги ). Очевидно, що це дуже суперечливо: в основному йдеться про те, що чим більше оприлюднена авіакатастрофа, тим більше шансів вплинути на пілота (свідомо чи несвідомо), щоб розбити його літак. Але психологічні пояснення, що лежать в основі гіпотези, здаються правдоподібними, і дані, здається, теж підтримують це.

(Посилання на дослідження, розроблені на основі статистики, будуть вітатися в коментарях.)