Талеб і Чорний лебідь

Книга Талеба «Чорний лебідь» була бестселером New York Times, коли вона вийшла кілька років тому. Книга зараз у другому виданні. Після зустрічі зі статистиками на JSM (щорічній статистичній конференції) Талеб дещо зменшив критику статистики. Але суть книги полягає в тому, що статистика не дуже корисна, оскільки вона покладається на нормальний розподіл і дуже рідкісні події: "Чорні лебеді" не мають нормальних розподілів.

Як ви вважаєте, це справедлива критика? Чи пропускає Талеб деякі важливі аспекти статистичного моделювання? Чи можна передбачити рідкісні події хоча б у тому сенсі, що можна оцінити ймовірність виникнення?

Я читав Чорного лебедя пару років тому. Ідея Чорного лебедя є хорошою, і напад на лудійну помилковість (бачити речі так, ніби вони є кубиковими іграми, з відомими ймовірностями) хороший, але статистика відверто неправильно представлена, центральною проблемою є неправильне твердження, що вся статистика розпадається, якщо змінні зазвичай не розподіляються. Цей аспект мене досить роздратував, щоб написати Талебу лист нижче:

Шановний доктор Талеб

Нещодавно я читав "Чорний лебідь". Як і ви, я прихильник Карла Поппера, і я виявив, що погоджуюся з тим, що є в ньому. Я думаю, що ваше висловлювання лудійської помилки є в основному обгрунтованим і звертає увагу на реальну та загальну проблему. Однак я вважаю, що більша частина ІІІ підводить ваш загальний аргумент погано, навіть до того, що можливо дискредитує решту книги. Це соромно, як я вважаю, що аргументи стосовно Чорних Лебедів та "невідомих невідомих" стоять по суті, не покладаючись на деякі помилки в частині III.

Основне питання, на яке я хочу звернути увагу, і шукати вашої відповіді, особливо якщо я неправильно зрозумів, - це ваше неправильне представлення галузі прикладної статистики. На мій погляд, глави 14, 15 та 16 значною мірою залежать від солом'яного аргументу, неправильного представлення статистики та економетрики. Описана вами економетрика не є тією, яку я навчав, коли я вивчав прикладну статистику, економетрику та теорію актуарного ризику (в Австралійському національному університеті, але використовуючи тексти, які здавалися досить стандартними). Питання, які Ви порушуєте (наприклад, обмеження розподілу Гаусса), добре і по-справжньому зрозумілі та вивчені навіть на рівні бакалаврату.

Наприклад, ви спробуєте показати, як розподіл доходу не йде за нормальним розподілом, і подаєте це як аргумент проти статистичної практики загалом. Жоден компетентний статистик ніколи не стверджує, що це робить, і способи вирішення цього питання добре знайдені. Просто використання методів самого елементарного рівня «економетрики першого року», наприклад, перетворення змінної за допомогою логарифму зробить ваші числові приклади набагато менш переконливими. Таке перетворення насправді позбавить значної частини сказаного, оскільки тоді дисперсія вихідної змінної дійсно збільшується зі збільшенням її середнього значення.

Я впевнений, що є деякі некомпетентні економетрики, які роблять регресії OLS тощо з неперетвореною змінною відповіді так, як ви говорите, але це просто робить їх некомпетентними та використовуючи добре встановлені методи, які є невідповідними. Вони, безумовно, не змогли б навіть на бакалаврських курсах, які витрачають багато часу на пошук більш відповідних способів моделювання змінних, таких як дохід, що відображає фактичне спостережуване (не гауссове) розподіл.

Сімейство узагальнених лінійних моделей - це набір методик, розроблених частково для подолання проблем, які ви виникаєте. Багато експоненціальної сімейства розподілів (наприклад, гамма, експоненціальні та пуассонові розподіли) є асиметричними і мають дисперсію, яка збільшується в міру збільшення центру розподілу, долаючи проблему, яку ви вказуєте, використовуючи розподіл Гаусса. Якщо це все ще занадто обмежує, можна взагалі скинути попередньо існуючу "форму" і просто вказати залежність між середнім значенням розподілу та його дисперсією (наприклад, дозволяючи дисперсії пропорційно збільшуватися до середнього квадрата), використовуючи метод «квазіімовірності».

Звичайно, ви можете стверджувати, що така форма моделювання все ще надто спрощена, і інтелектуальна пастка, яка заколисує нас у думці про майбутнє, буде як минуле. Ви можете бути правильними, і я думаю, що сила вашої книги полягає в тому, щоб змусити людей, як я, вважати це. Але вам потрібні різні аргументи до тих, які ви використовуєте в главах 14-16. Велика вага, яку ви приділяєте тому, що дисперсія гауссового розподілу є постійною незалежно від його середнього значення (що спричиняє проблеми зі масштабованістю), наприклад, недійсна. Отже, ви наголошуєте на тому, що реальні розподіли мають тенденцію бути асиметричними, а не кривими дзвіночками.

В основному, ви скористалися одним із надмірних спрощень найпростішого підходу до статистики (наївне моделювання сировинних змінних як гауссових розподілів) і показали, з великою довжиною, (правильно) недоліки такого спрощеного підходу. Потім ви використовуєте це, щоб зробити прогалину для дискредитації всього поля. Це або серйозний проміжок логіки, або пропагандистський прийом. Це прикро, тому що це погіршує ваш загальний аргумент, більшу частину з якого (як я вже сказав) я вважав дійсним та переконливим.

Мені було б цікаво почути, що ви говорите у відповідь. Я сумніваюся, що я перший, хто порушив це питання.

Щиро Ваш

ПЕ

Я не читав книгу, але, як було сказано, критика мені здається досить необгрунтованою. Якщо екстремальні події важливі, то статистика має відповідні інструменти в панелі інструментів, наприклад, теорія екстремальних значень, і хороший статистик буде знати, як ними користуватися (або принаймні дізнається, як ними користуватися, і буде достатньо задіяний з метою аналіз подивитись). Критика, здається, "статистика погана, оскільки є погані статистики, які знають лише про нормальні розподіли".

Сказати, що «суть книги в тому, що статистика не дуже корисна», я думаю, що це неточно. Прочитавши книгу, він, як видається, говорить, що такі речі, як кількісні фінанси або будь-яка торгівля цінними паперами, яка передбачає нормальний розподіл, є принципово хибними (насправді в книзі він закликає людей, які претендують на використання цих моделей для прогнозування , "шарлатани"). За словами Талеба, хоча нормальний розподіл виконує велику роботу з моделювання значень матеріальних / фізичних речей (наприклад, зріст, вага, тривалість життя тощо), такі системи, як ринки, часто керуються емоціями людини і, отже, схильні до великі перепади, які нормальний розподіл не може точно передбачити.

Я не дуже добре розумію статистику, і доки тут не читав відповідей, я ніколи не чув таких речей, як теорія екстремальної цінності. Незважаючи на те, що Чорний лебідь і обдурений випадковістю, схоже, мають подібні приміщення, що є "нормальним розподілом не завжди в порядку". Я не пригадую, щоб він осквернив все поле статистики.

Я читав "Чорний лебідь", мені це подобалося, і я статистик. Я взагалі не вважав її "критику статистики" нестерпною. По пункту:

1. Талеб не вигадав поняття чорного лебедя. Це був вподобаний приклад у філософській думці довгий час!
2. Талеб не стільки критикує "статистику", скільки певні (погані) її застосування.
3. Книга була бестселером. Це спрямовано не на статистиків, а на широку громадськість. Це було дуже добре, навчаючи громадськість про речі, які статистики знали дуже добре, але багато хто з інших читачів (більшість!) Цього не зробили. Тож ми могли б багато чого навчитися з цієї книги про те, як "продати" статистику.
4. Найголовніше (для мене) Талеб включав багато посилань на давньогрецьку скептичну філософію. Ніхто інший тут не згадував про це, але я думаю, що включення було справжньою точкою продажу книги!
5. Книга - це літературний твір, а не технічний твір. Якщо ви хочете розкритикувати Талеба за його технічну роботу, перейдіть на його домашню сторінку та завантажте деякі його технічні документи.

Тим, кому ця відповідь не подобається чи не подобається книга, можна поглянути на технічні аргументи Талеба у новому https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. pdf "Мовчазний ризик", який є технічним.

Я не читав Чорного лебедя, але якщо його критика статистики справді така проста, як ви кажете, то це смішно. Очевидно, що деякі статистичні дані покладаються на нормальний розподіл, але багато чого - ні.

Чи можна моделювати рідкісні події? Звичайно вони можуть. Справжнє питання полягає в тому, наскільки добре їх можна моделювати. І це запитання матиме різні відповіді в різних галузях, виходячи з того, наскільки ми знаємо про рідкісні події та їх попередники.

У сьогоднішньому часописі NY Times є цікава стаття Нейт Сілвер про те, як прогноз погоди покращився за останнє десятиліття. Це включає краще моделювання рідкісних подій, таких як урагани.

Чи варта книга читати?

Я також не читав книгу, але немає ніякого способу, що його точка зору може бути такою ж спрощеною, як сказати, що є розподіли з жирними хвостами, ніж звичайні. Це було б коментарем до інших відповідей, але я не накопичив достатньо похвал на цьому веб-сайті.

З Вікіпедії:

"Він зазначає, що статистика принципово неповна як поле, оскільки вона не може передбачити ризик рідкісних подій ..."

Це питання також досить схоже на те, що громада сприймає четвертий квадрант?

Я настійно рекомендую рецензію на цю книгу Денніса Ліндлі. Він містить низку руйнівних аргументів проти поганого та зарозумілого викладу ідей у ​​книзі:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/ab Abstract

Чорний лебідь - ще один приклад, коли бути «Бестселером» не гарантує високу якість контенту.

Я не думаю, що Талеб насправді сказав, що статистичні методи, що покладаються на розподіл Гаусса, не є корисними. Його суть у книзі полягала в тому, що вони дуже корисні для багатьох (але не всіх) фізичних чи біологічних процесів та моделювання. Він робить деякі хороші моменти і деякі погані (Чорний лебідь і пов'язані були початком чуми "все - закон про владу!", Який і сьогодні нас переслідує), але важливо пам'ятати, що книга - це збірка літературно-філософських нариси, призначені для мирян.

Це сказав, що я думаю, що Талеб любить загострювати людей. Це можна побачити в його битві з Майроном Скоулсом. У цьому випадку це може бути корисним як статистична освіта на нижчому рівні, а іноді і на рівні випускників, як би наближається до припущення про розподіл Гаусса. Я думаю, що за роки його фінансів він натрапив на велику кількість квантів, які добре знають чорношкірих та інших методів, але які не враховували основні припущення, як розподіл. Я підозрюю, що Талеб тикав у навчальний заклад за непроведення належної освіти.

Ті з вас, хто не читав книгу, далекі від бази. Він робить велике розмежування масштабованого та некласифікованого. Для нестабільних питань традиційна статистика прослужить достатньо добре. Він цього не критикує. Чорні лебеді беруть початок у масштабованому масштабі і важко передбачити дані емпіричних даних минулого. Книга про те, як ці події можуть мати величезний вплив і, як правило, пояснюються лише після факту. Епістемологія відмінна.

Не читаючи книги, я відчуваю, що дзвони Гаусса провалюються, бо ніколи не дали чіткого визначення поняття "щільність ймовірності"; крім того, вони ніколи не дають повного набору точок кривих Лоренца, які включають одночасно загальну розподілену змінну та загальну кількість сукупностей, які сприймають колишню. Якщо використовується "щільність", потрібно пояснити, яка саме змінна; наприклад, якщо говорити про кілограми на літр, це стосується щільності ваги, пов’язаної з об'ємом. Цей крок не надається теорією Гаусса в підручниках. Недарма молодь не правильно розуміє статистику.