Чому статистика корисна, коли багато важливих речей - це одні зйомки?

Я не знаю, чи це лише я, але я взагалі дуже скептично ставлюсь до статистики. Я можу це зрозуміти в іграх на кубики, в покер і т. Д. Дуже маленькі, прості, в основному автономні повторювані ігри - це добре. Наприклад, посадка монети на її край достатньо мала, щоб прийняти ймовірність того, що посадочні голови або хвости становлять ~ 50%.

Гра в покер на 10 доларів, спрямована на 95% виграш - це чудово. Але що робити, якщо все ваше економія життя + більше залежить від того, ви виграєте виграш чи ні? Як би знання того, що ти виграєш у 95% часу у цій ситуації, мені взагалі допоможе? Очікуване значення не дуже допомагає там.

Інші приклади включають небезпечну для життя операцію. Як це допомагає знати, що це 51% виживання проти 99% виживання за наявними даними? В обох випадках я не думаю, що для мене буде важливим те, що мені каже лікар, і я б пішов на це. Якщо фактичні дані 75%, він також може сказати мені (забороняючи етику і закон), що є 99,99999% шансів на виживання, тому я почуваю себе краще. Іншими словами, наявні дані не мають значення, окрім біноміально. Навіть тоді не має значення, чи є 99,99999% виживання, якщо я в кінцевому рахунку помер від цього.

Також ймовірність землетрусу. Не має значення, чи сильний землетрус траплявся в середньому кожні x (де x> 100) років. Я не маю уявлення, чи станеться землетрус коли-небудь у моєму житті. То чому це навіть корисна інформація?

Менш серйозний приклад, скажімо, 100% місць, які я займав, що я люблю, - в Америці, байдуже до 100% місць, де я був у Європі, і ненавиджу 100% місць, які я маю побував в Азії. Тепер це ні в якому разі не означає, що я не знайду місця, яке мені подобається в Азії, під час наступної поїздки чи ненависті до Європи чи байдуже в Америці, саме за своєю природою, що статистика не охоплює всю інформацію, яку я мені потрібно, і я, мабуть, ніколи не можу зібрати всю потрібну мені інформацію, навіть якщо я подорожував понад x% усіх цих континентів. Просто тому, що на 1-х% цих континентів є невідомі, на яких я не був. (Не соромтеся замінювати 100% будь-яким іншим відсотком).

Я розумію, що немає способу змусити все змусити і що ви повинні покладатися на статистику у багатьох ситуаціях, але як ми можемо повірити, що статистика корисна в нашій ситуації, особливо коли статистика в основному не екстраполює на чужі події?

Якась ідея, щоб подолати мій скептицизм статистики?

По-перше, я думаю, що ви можете заплутати "статистику", що означає сукупність чисел чи інших фактів, що описують групу чи ситуацію, і "статистика", що означає науку про використання даних та інформації для розуміння світу в умовах змін (інші можуть бути в змозі вдосконалити мої визначення). Статистики використовують обидва чуття цього слова, тому не дивно, коли люди їх змішують.

Статистика (наука) багато в чому полягає у виборі стратегій та виборі найкращої стратегії, навіть якщо ми отримаємо її застосувати лише один раз. Деколи, коли я (та інші) навчаю ймовірності, ми використовуємо класичну проблему Monty Hall (3 двері, 2 кози, 1 машина), щоб мотивувати її, і ми показуємо, як ми можемо оцінювати ймовірності, граючи в гру купу разів (не для призів ), і ми можемо бачити, що стратегія «перемикання» виграє 2/3 часу, а стратегія «перебування» виграє лише 1/3 часу. Тепер, якщо б у нас була можливість пограти в гру одноразово, ми б знали деякі речі, яка стратегія дає більше шансів на перемогу.

Приклад хірургії подібний. Ви будете робити хірургічну операцію (або не будете робити хірургічну операцію) лише один раз, але ви не хочете знати, яка стратегія може принести більше людей? Якщо ваш вибір - це хірургія з певним шансом, більшим за 0% виживання, або відсутністю хірургічного втручання та 0% виживаності, то так, різниця між хірургічною операцією, що має 51% виживання та 99,9% виживання, є незначною. Але що робити, якщо є й інші варіанти, ви можете вибрати між хірургічним втручанням, нічого не роблячи (що має 25% виживання) або зміною дієти і фізичними вправами, які мають 75% виживання (але вимагає зусиль з вашого боку), ні Вас хвилює, чи виживаність може мати 51% проти 99%?

Також врахуйте лікаря, він буде робити більше, ніж просто вашу операцію. Якщо хірургія має 99,9% виживання, то у нього немає підстав розглянути альтернативи, але якщо вона має лише 51% виживання, то, хоча сьогодні це може бути найкращим вибором, він повинен шукати інші альтернативи, які збільшують цю виживаність. Так, навіть при 90% виживання він втратить деяких пацієнтів, але яка стратегія дає йому найкращі шанси врятувати більшість пацієнтів?

Сьогодні вранці я носив ремінь безпеки під час руху (моя звичайна стратегія), але не потрапив у будь-які аварії, тож моя стратегія була марною тратою часу? Якби я знав, коли потрапляю в ДТП, то міг би заощадити час, лише надягаючи ремінь безпеки в тих випадках, а не на інших. Але я не знаю, коли я потрапляю в аварію, тому буду дотримуватися стратегії надягання ременів безпеки, тому що я вірю, що це дасть мені найкращі шанси, якщо я коли-небудь потрапляю в ДТП, навіть якщо це означає витратити трохи часу і зусилля у високому відсотку (сподіваємось, у 100%) разів, коли випадковості немає.

Тільки тому, що ви не використовуєте статистику у своєму повсякденному житті, це не означає, що поле безпосередньо не впливає на вас. Коли ви знаходитесь у лікаря, і вони рекомендують одне лікування над іншим, ви можете поставити під сумнів, що за цією рекомендацією було багато клінічних випробувань, які використовували статистику для інтерпретації результатів своїх експериментів.

Виявляється, концепція очікуваної вартості також дуже корисна, навіть якщо ви особисто не використовуєте її. Ваш приклад ставок на економію життя не враховує, наскільки ви ризикуєте несприятливими. Інші ситуації можуть виявити себе менш небезпечними для ризику або там, де катастрофічних результатів немає. Приклади цього є бізнес, фінанси, актуарний контекст та інші. Можливо, ви видаєте поліс домашнього страхування - тоді раптом відомо про ймовірність землетрусу, який відбудеться протягом певного періоду часу, має велике значення.

Зрештою, статистика - це чудовий спосіб подолати невизначеність. В останньому прикладі ви зібрали деякі дані про місця, до яких хочете подорожувати, і стверджували, що статистика говорить про те, що ви ніколи не знайдете собі місце в Азії, яке вам подобається. Це просто неправильно. Звичайно, ці дані змусять вас повірити, що в Азії є менше шансів на те, що вам подобається, але ви можете встановити попереднє переконання таким, яким ви хочете, і статистика підкаже вам, як оновити свою віру з урахуванням нових даних. Крім того, це дозволяє вам змінювати свою віру в принциповий спосіб, який дозволить вам діяти раціонально за наявності невизначеності.

Світ стохастичний, а не детермінований. Якби це було детерміновано, фізики правили б світом, а статистики були б без роботи. Але реальність така, що статистики користуються великим попитом майже в кожній дисципліні. Це не означає, що фізиці та іншим наукам не місце, але статистика працює в руці з наукою і є основою для багатьох наукових відкриттів.

Досить балаканини і до конкретики. Я працював останні 17 років у медичній галузі, спочатку в медичних виробах, потім у фармацевтиці, а тепер у загальних медичних дослідженнях. Препарати та медичні засоби, які покращують якість життя та часто врятують або продовжують життя, розробляються та затверджуються в цій країні та в усьому світі на регулярній основі. У США затвердження вимагає доказів безпеки та ефективності, перш ніж FDA дозволить продавати наркотики чи медичні вироби. Докази FDA приходять з клінічних випробувань поетапно. Усі клінічні випробування потребують діючих методів статистичного проектування та аналізу. Ніщо не ідеальне. Препарати добре спрацьовують для деяких людей, тоді як інші можуть не реагувати або матимуть несприятливі явища (погані реакції, які можуть спричинити хворобу чи смерть). Випробування відокремлюють неефективні препарати від ефективних. Більшість препаратів не вдається, і часто існує десятирічний цикл від розвитку на ранній стадії до кінця III фази з затвердженням та продажем в кінці випробування. Після цього застосовується постмаркетинговий нагляд, який також вимагає статистичних даних, щоб переконатися, що препарат працює достатньо добре для широкої популяції. Іноді загальна популяція, на яку затверджений препарат, є менш обмежувальною групою, ніж пацієнти, які мали право на клінічні випробування. Тому іноді наркотики виявляються небезпечними і їх витягують з ринку. Статистика допомагає у всіх аспектах безпеки наркотиків. Після цього застосовується постмаркетинговий нагляд, який також вимагає статистичних даних, щоб переконатися, що препарат працює достатньо добре для широкої популяції. Іноді загальна популяція, на яку затверджений препарат, є менш обмежувальною групою, ніж пацієнти, які мали право на клінічні випробування. Тому іноді наркотики виявляються небезпечними і їх витягують з ринку. Статистика допомагає у всіх аспектах безпеки наркотиків. Після цього застосовується постмаркетинговий нагляд, який також вимагає статистичних даних, щоб переконатися, що препарат працює достатньо добре для широкої популяції. Іноді загальна популяція, на яку затверджений препарат, є менш обмежувальною групою, ніж пацієнти, які мали право на клінічні випробування. Тому іноді наркотики виявляються небезпечними і їх витягують з ринку. Статистика допомагає у всіх аспектах безпеки наркотиків.

Статистика не є досконалою. Ми живемо з деякими помилками через випадковість і невизначеність. Але це контролюється, і наше життя краще, і помилки зменшуються в порівнянні з тим, що було б, якщо б статистична наука не була задіяна.

Я сам сумніваюся у корисності ймовірності та статистиці, коли йдеться про прийняття рішення про одну подію. На мою думку, знаючи ймовірність, реальну чи оцінну, надзвичайно важливо, коли мета полягає в оцінці результатів вибірки, будь-яка їх подія, повторена кілька разів, або зразок, який утворився з певної сукупності. Коротше кажучи, знання ймовірності має більше сенсу для казино, який на основі розрахунків ймовірності може поставити правила, які гарантують, що він виграє в довгостроковій перспективі (після багатьох ігор), а не для азартного гравця, який претендує на гру в один раз, тому він виграв би або втратив (це результати, коли експеримент проводиться одноразово). Це важливо також для генералів, які планують відправити своїх продавців у бій із ризиком (ймовірністю) втратити 10%, але не для певного припою (скажімо, Івана), який лише помре або виживе. Таких прикладів у реальному житті дуже багато.

Я хочу зазначити, що ймовірність та статистика не тільки корисні в реальному житті, але, точніше, вони є інструментом для всіх сучасних наукових досліджень та правил прийняття рішень. Однак невірно сказати, що раціональність передбачає посилання на ймовірність однієї події без наміру чи можливості повторити її для оцінки результату. Тенденція ймовірності впливати на рішення певної особи, виходячи з неї чи його ступеня відхилення від ризику, очевидно суб'єктивна. Попередити ризик та любитель ризику мають різне ставлення (рішення) до однієї лотереї (однакове очікуване значення).

Довгою і короткою є те, що ймовірність - це унікальне узагальнення звичайної істинної / хибної логіки до ступенів віри між 0 і 1. Це так звана логічна байєсівська інтерпретація ймовірності, що виникла Р.Т. Коксом, а згодом - Е.Т. Джейнес.

Крім того, за слабких припущень може бути показано, що правильним способом упорядкування невизначених результатів за перевагою є впорядкування їх за очікуваною корисністю, з очікуваним прийняттям щодо розподілу ймовірності за результатами.

Див. Роберта Клемена, "Прийняття важких рішень", для вступу та викладення прикладного аналізу рішень, який базується на ймовірності Баєса і очікуваній корисності.

Ви абсолютно маєте рацію скептично ставитися до традиційної статистики частотистів; за задумом своїх винахідників (Р. А. Фішер, Дж. Нейман, Е. Пірсон) вона обмежується повторюваними подіями. Але багато щоденних проблем не пов'язані з повторюваними подіями. Що робити? Типовий підхід - це деяка комбінація примушування квадратних кілочків до круглих отворів та переміщення ворота. Соромно, справді.

Я скептично ставлюсь до статистики з наступних причин.

1. Я переконаний, що хтось без випускника статистики не має поняття, чим вони займаються. Unf. є мільйони людей по всьому світу, які роблять дослідження без випускника зі статистики. Я був студентом математики в університеті Меріленд-коледжу, парк. Я взяв 4 400 уроки математики. Всі вчителі робили, щоб навчити вас обчислювати речі. Ніхто не навчав мене, як щось мати сенс чи робити якийсь статистичний аналіз, за ​​винятком тестування гіпотез, що з двох причин не має сенсу.
   1. Для кожного випробування гіпотез, до якого я навчався, я повинен був заздалегідь зробити припущення. Ніхто не вчив мене, з яких припущень (я) я повинен був почати. 2. Значення P логічно не мають сенсу. Вища ступінь статистики може навчити вас, що таке значення ap. Однак я переконаний, що жоден магістр не знає, як ним користуватися. Визначення студентів передбачає ймовірність того, що щось залежить від правильності гіпотези. Логічно, визначення взагалі не має сенсу. Ще гірше, що НІКОЛИ ніколи не казав мені, звідки береться ймовірність. Я фактично надіслав електронною поштою майже весь свій математичний відділ (понад 200 людей), якщо хтось міг би дати мені відповідь. Найпопулярніші та єдині відповіді були: "треба було б ВИЗНАЧИТИ коефіцієнти помилок для ймовірності" (Коли я запитав людей, як це робиться, всі вони відповіли мені "
   Те ж саме сталося, коли я гуглив, що таке значення значення ap. Це підводить мене до висновку ...

2. Навіть сиг. кількість викладачів математики та статистики не мають поняття, якою є логіка статистики. Я не чекаю, що люди матимуть глибокі знання. Однак у мене таке відчуття, що навіть сиг. % дослідників та викладачів не розуміють жодної основної логіки статистики.

3. Статистична помилка - це не те саме, що фактична помилка. Оскільки людям подобається використовувати статистику для отримання оцінок для речей, які є гумористичними, люди люблять використовувати статистичну помилку, щоб "замаскувати" той факт, що вони не мають поняття, що таке фактична помилка.

4. Люди використовують невеликі зразки для великих груп населення, оскільки статистична теорія говорить їм, що вони можуть. На одному з моїх курсів коледжу я дізнався, що люди люблять використовувати дані, які є оцінкою приблизно з 30 шкіл країни, щоб показати, що в школах по всій країні мало випадків насильства. Є близько 100 000 шкіл. Це звучить божевільно. Цілий популярний рух має близько 30 шкіл у всій країні.

5. Люди люблять складати тягар доказів статистичними. Боссом Хіггса так і не було виявлено. Це було виявлено статистично, але це нічого не означає. Що-небудь виявлене чисто статистично є марним, оскільки ніхто не знає точності статистики.

6. Люди люблять використовувати статистику для прийняття важливих рішень. Статистика може бути використана як орієнтир, але ніхто не знає, наскільки це насправді. Тільки тому, що проблему, здається, неможливо вирішити, не означає, що статистика - це наступне найкраще. Той факт, що тестування на ДНК базується на статистичних даних, викликає неприємність. Чи можна мені призначити смертну кару через статистику? Чи може вбивця бути звільнений із в'язниці солей через статистику?

Я вважаю, що статистика може бути корисною, але тільки якщо вона не використовується як висновок. Я вважаю, що статистика може нам сказати, які існують деякі можливості. Тоді слід довести логіку, а не статистичну логіку, щоб довести, яка можливість (и) є правильною.