Як вчені з'ясували форму функції нормальної щільності ймовірності розподілу?

36

Це, мабуть, питання любителя, але мене цікавить, як вчені придумали форму функції нормальної щільності ймовірності розподілу? В основному те, що мене клопотить, полягає в тому, що для когось може бути більш інтуїтивно зрозумілим, що функція ймовірності нормально розподілених даних має форму рівнобедреного трикутника, а не кривої дзвона, і як би ви довели такій людині, що функція щільності ймовірності всі нормально розподілені дані мають форму дзвоника? Експериментом? Або якимось математичним виведенням?

Зрештою, що ми насправді вважаємо нормально розподіленими даними? Дані, які відповідають схемі ймовірності нормального розподілу чи щось інше?

В основному моє питання полягає в тому, чому функція густини нормальної щільності розподілу має форму дзвона, а не будь-яку іншу? І як вчені з’ясували, за яких сценаріїв реального життя можна застосувати нормальний розподіл, експериментуючи або вивчаючи природу самих різних даних?

Тому я знайшов це посилання справді корисним у поясненні виведення функціональної форми кривої нормального розподілу, і, таким чином, відповідаючи на питання "Чому нормальний розподіл виглядає так, як це відбувається, а не що інше?". Воістину розумні міркування, принаймні для мене.

normal-distribution history

— ахра
джерело

2

Ознайомтеся з цим питанням - неправда стверджувати, що лише нормальний розподіл має "дзвіночку".

— Срібна рибка

11

Нормальний розподіл має деякі життєво важливі статистичні властивості, які роблять його особливим об'єктом дослідження, а також означають, що він часто виникає "природним шляхом", наприклад, як обмежувальний випадок інших розподілів. Див., Зокрема, теорему про центральну межу . Однак це не єдиний розподіл, який досягає середини і має хвости з обох боків. Люди часто припускають, що такі дані є нормальними, оскільки гістограма "виглядає дзвониковою формою", але моя відповідна відповідь показує, як існує багато інших розподілів кандидатів для таких наборів даних.

— Срібна рибка

4

Зауважимо, що статистики не виявили нормального розподілу, переглянувши багато наборів даних і зрозумівши, що ця функція густини була емпірично добре підходить для багатьох з них. Як вам цікаво, у вашому запитанні відбувся процес математичного дослідження певних проблем теорії ймовірностей, на який нормальний розподіл "вискакує" як відповідь. Це добре пояснено, наприклад, у цій відповіді тут .

— Срібна рибка

3

І в основному, якби хтось попросив мене пояснити їм, чому нормальний розподіл "нормальний", мені потрібно було б пояснити їм історію нормального розподілу, яка сама тривала і складна, починаючи з біноміального розподілу і так далі, а потім, можливо довести центральну граничну теорему та показати, що нормальний розподіл застосовний при вивченні багатьох ситуацій у реальному житті.

— ахра

5

Ви можете візуалізувати форму звичайного розподілу за допомогою одного з цих витончених пристроїв, званих дошками Galton. Насправді це біноміальне розподіл, але, ви знаєте, центральна межа теореми.

— Федеріко Полоні

21

" Еволюція нормального розповсюдження " від SAUL STAHL - найкраще джерело інформації, яке відповідає майже на всі запитання у вашому дописі. Я нагадаю кілька моментів лише для вашої зручності, оскільки ви знайдете детальну дискусію всередині статті.

Це, мабуть, питання любителя

Ні, це цікаве запитання для тих, хто використовує статистику, оскільки це детально не висвітлюється ніде в стандартних курсах.

В основному те, що мене клопотить, полягає в тому, що для когось може бути більш інтуїтивно зрозумілим, що функція ймовірності нормально розподілених даних має форму рівнобедреного трикутника, а не кривої дзвона, і як би ви довели такій людині, що функція щільності ймовірності всі нормально розподілені дані мають форму дзвоника?

Подивіться на цю картинку з паперу. Він показує криві помилок, які придумав Сімпсон ще до того, як було відкрито Гауссана (Нормального) для аналізу експериментальних даних. Отже, ваша інтуїція виявлена на місці.

Експериментом?

Так, саме тому їх називали "кривими помилок". Експеримент був астрономічним вимірюванням. Астрономи століттями боролися з помилками вимірювань.

Або якимось математичним виведенням?

Знову ТАК! Довга коротка історія: аналіз помилок в астрономічних даних призвів Гаусса до його (також нормального) розподілу. Ось які припущення він використав:

До речі, Лаплас застосував кілька різних підходів, а також придумав своє розповсюдження, працюючи з астрономічними даними:

Щодо того, чому звичайний розподіл показується в експерименті як помилки вимірювання, ось типове пояснення фізика використовується для пояснення (цитата Герхарда Бома, Гюнтера Зеха, Вступ до статистики та аналізу даних для фізиків, стор.85):

Багато експериментальних сигналів доходять до дуже хорошого наближення до нормального розподілу. Це пов’язано з тим, що вони складаються з суми багатьох внесків і наслідком центральної граничної теореми.

— Аксакал
джерело

2

Довідка Шталя дуже вирішує оригінальне питання з того кута, з якого воно було поставлене - це справді приємна знахідка.

— Срібна рибка

44

Здається, у вашому питанні ви припускаєте, що поняття нормального розподілу існувало ще до того, як було визначено розподіл, і люди намагалися розібратися, що це таке. Мені незрозуміло, як це буде працювати. [Редагувати: є хоча б один сенс, який ми можемо вважати, що існує "пошук розподілу", але це не "пошук розподілу, який описує безліч і безліч явищ"]

Це не так; про розподіл було відомо вже до того, як його називали нормальним розподілом.

як би ви довели такій людині, що функція щільності ймовірності всіх нормально розподілених даних має форму дзвона

Нормальна функція розподілу - це те, що має те, що зазвичай називають «формою дзвону» - всі нормальні розподіли мають однакову «форму» (в тому сенсі, що вони відрізняються лише за масштабом і розташуванням).

Дані можуть виглядати більш-менш "дзвоноподібно" в розповсюдженні, але це не робить його нормальним. Багато ненормальних розподілів виглядають так само «дзвониково».

Фактичні розподіли населення, з яких беруться дані, ймовірно, ніколи не бувають нормальними, хоча іноді це цілком розумне наближення.

Зазвичай це стосується майже всіх розповсюджень, які ми застосовуємо до речей у реальному світі - це моделі , а не факти про світ. [Як приклад, якщо ми робимо певні припущення (ті, що стосуються процесу Пуассона), ми можемо отримати розподіл Пуассона - поширений розподіл. Але дійсно ці припущення завжди точно задоволені? Як правило, найкраще, що ми можемо сказати (у правильних ситуаціях), - це те, що вони майже справжні.]

що ми насправді вважаємо нормально розподіленими даними? Дані, які відповідають схемі ймовірності нормального розподілу чи щось інше?

Так, щоб насправді було нормально розподілене, популяція, з якої було взято вибірку, повинна мати розподіл, який має точну функціональну форму нормального розподілу. Як результат, будь-яке обмежене населення не може бути нормальним. Змінні, які обов'язково обмежуються, не можуть бути нормальними (наприклад, час, прийнятий для конкретних завдань, довжина певних речей не може бути негативною, тому вони фактично не можуть бути нормально розподілені).

можливо, було б більш інтуїтивно зрозумілим, що функція ймовірності нормально розподілених даних має форму рівнобедреного трикутника

Я не бачу, чому це обов'язково більш інтуїтивно зрозуміло. Це, звичайно, простіше.

Коли вперше розробляли моделі розподілу помилок (спеціально для астрономії на ранньому періоді), математики розглядали різноманітні форми стосовно розподілів помилок (включаючи в один ранній момент трикутний розподіл), але в більшості цієї роботи це була математика (скоріше ніж інтуїція), яку використовували. Наприклад, Лаплас розглядав подвійні експоненціальні та нормальні розподіли (серед кількох інших). Аналогічно Гаусс використовував математику для отримання її приблизно в той же час, але стосовно іншого набору міркувань, ніж це робив Лаплас.

У вузькому сенсі, що Лаплас і Гаус розглядали "розподіл помилок", ми могли б вважати там "пошук розподілу", принаймні на час. Обидва постулювали деякі властивості розподілу помилок, які вони вважали важливими (Лаплас вважав послідовність дещо інших критеріїв у часі), що призвели до різних розподілів.

В основному моє питання полягає в тому, чому функція густини нормальної щільності розподілу має форму дзвона, а не будь-яку іншу?

Функціональна форма речі, яку називають функцією нормальної щільності, надає їй таку форму. Розглянемо стандартний нормальний (для простоти; кожен інший нормальний має однакову форму, що відрізняється лише масштабом і розташуванням):

f_{Z} (z) = к \cdot е^{- \frac{1}{2} z^{2}}; - \infty < z < \infty

$f_Z(z) = k \cdot e^{-\frac12 z^2};\;-\infty<z<\infty$

$k$

$x$

Хоча деякі люди вважають нормальний розподіл якось "звичайним", це насправді лише в окремих наборах ситуацій, ви навіть схильні сприймати це як наближення.

Відкриття розподілу, як правило, зараховується до де Moivre (як наближення до двочлена). Він фактично отримав функціональну форму, намагаючись наблизити біноміальні коефіцієнти (/ біноміальні ймовірності), щоб наблизити інакше виснажливі обчислення, але - хоча він фактично виводить форму нормального розподілу - він, схоже, не думав про своє наближення як розподіл ймовірностей, хоча деякі автори припускають, що він це зробив. Потрібна певна кількість інтерпретації, щоб у цій інтерпретації були можливості для відмінностей.

Гаус і Лаплас працювали над цим на початку 1800-х років; Гаусс писав про це в 1809 році (у зв'язку з тим, що це розподіл, для якого середнє значення є MLE центру), а Лаплас у 1810 р. Як наближення до розподілу сум симетричних випадкових величин. Через десятиліття Лаплас дає ранню форму центральної граничної теореми для дискретних і для безперервних змінних.

Ранні назви розподілу включають закон помилок , закон частоти помилок , його також називали і Лаплас, і Гаус, іноді спільно.

Термін "нормальний" використовувався для опису розподілу незалежно трьома різними авторами у 1870-х роках (Періс, Лексіс та Галтон), перший у 1873 р. Та два інші у 1877 р. Це через шістдесят років після роботи Гаусса та Лапласа і більше ніж удвічі, що починається з моменту наближення де Моєра. Використання Галтона було, ймовірно, найбільш впливовим, але він використовував термін "нормальний" стосовно нього лише один раз у тій роботі 1877 року (здебільшого називаючи це "законом відхилення").

Однак у 1880-х роках Галтон багато разів використовував прикметник "нормальний" стосовно розподілу (наприклад, як "нормальна крива" 1889 р.), І він, у свою чергу, мав великий вплив на пізніших статистиків у Великобританії (особливо на Карла Пірсона ). Він не сказав, чому вживає термін "нормальний" таким чином, але, мабуть, мав на увазі це у значенні "типовий" або "звичайний".

Перше явне вживання фрази "нормальний розподіл" представляється Карлом Пірсоном; він, безумовно, використовує його в 1894 році, хоча він стверджує, що використовував його задовго (твердження, яке я б вважав з деякою обережністю).

Список літератури:

Міллер, Джефф
"Найдавніші відомості про використання деяких слів математики:"
Нормальний розподіл (запис Джон Олдріч)
http://jeff560.tripod.com/n.html

Шталь, Саул (2006),
"Еволюція нормального розподілу",
журнал " Математика" , Vol. 79, № 2 (квітень), стор 96-113
https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf

Нормальний розподіл, (2016, 1 серпня).
У Вікіпедії, The Free Encyclopedia.
Отримано 12:02, 3 серпня 2016, з
https://en.wikipedia.org/w/index.php?title=Normal_distribution&oldid=732559095#History

Hald, A (2007),
"Нормальне наближення Де Моєвра до двочлена, 1733 р. Та його узагальнення",
В: Історія параметричних статистичних висновків від Бернуллі до Фішера, 1713-1935; С. 17-24

[Ви можете відзначити суттєві розбіжності між цими джерелами стосовно їх рахунку де Moivre]

— Glen_b -Встановити Моніку
джерело

Дякую за глибоку відповідь! Далі я вивчив, як формується нормальний розподіл, і знайшов цей документ курси.ncssm.edu/math/Talks/PDFS/normal.pdf , і у мене є проблема розуміння того, як можна припустити, що помилки не залежать від орієнтації системи координат (припущення, яке дає згодом важливий висновок), коли мені здається, що таке припущення було б справедливим лише на прикладі дартса, але не на прикладі випадкових експериментальних помилок .

— ахра

Насправді весь підхід до дартсу мене бентежить, оскільки я вивчаю нормальний розподіл у контексті випадкових експериментальних помилок. Я здогадуюсь, що підхід до дартсу передбачає, що ви можете робити незалежні помилки у двох вимірах, що нормально у використаному контексті, але мені незрозуміло, що б це було перекладено в контексті експериментальних помилок, де у вас залежна і незалежна змінна а це означає, що ви можете помилитися лише в одному вимірі.

— ахра

1

Велике використання посилань. +1

— Аарон Холл

2

Я думаю, що тут слід десь згадати "центральну теорему граничної точки зору", оскільки ОП, здається, хоча б частково запитує, чому саме такий розподіл настільки поширений.

— Joc

1

@joc Я не бачу запитання про поширеність або навіть пропонування питання. Однак я говорю про роботу де Муавра, що стосується біноміалу, і про роботу Лапласа, що стосується нормальних наближень для сум симетричних випадкових величин ..., які більш безпосередньо пов'язані з цим питанням. Однак я додам речення, що стосується роботи Лапласа над проблемою (хоча це не можна було б називати ще протягом століття).

— Glen_b -Встановіть Моніку

11

"Нормальний" розподіл визначається таким саме розподілом.

Питання полягає в тому, чому ми б очікували, що саме цей розподіл є поширеним у природі, і чому він так часто використовується як наближення, навіть коли реальні дані точно не відповідають цьому розподілу? (У реальних даних часто зустрічається "жировий хвіст", тобто значення, далекі від середнього, набагато частіше, ніж прогнозували звичайні показники).

Інакше кажучи, що особливого в нормальному розподілі?

Нормальний має багато "приємних" статистичних властивостей (див., Наприклад, https://en.wikipedia.org/wiki/Central_limit_theorem ), але найбільш релевантним ІМО є той факт, що є функцією "максимальної ентропії" для будь-якого розподілу з задане середнє значення та дисперсія. https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution

Щоб висловити це звичайною мовою, якщо вам задано лише середню (центральну точку) та дисперсію (ширину) розподілу, і ви не припускаєте нічого іншого про це, ви будете змушені намалювати нормальний розподіл. Все інше вимагає додаткової інформації (в сенсі теорії інформації Шеннона ), наприклад, косості для її визначення.

Принцип максимальної ентропії був введений Е. Т. Джейнсом як спосіб визначення розумних пріорів у байєсівському висновку, і я думаю, що він першим звернув увагу на цю властивість.

Дивіться це для подальшої дискусії: http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/tutorials/Gaussian-distribution.pdf

— гарет
джерело

6

"Іншими словами, якщо вам задано лише середню (центральну точку) та дисперсію (ширину) розподілу, і ви не припускаєте нічого іншого про це, ви будете змушені провести нормальний розподіл." Я думаю, це залежить від того, що таке визначення "вимушений". Вас можуть змусити. Я не був би. Те, що ви описали, - це моральний еквівалент того, що вас "змушують" взяти на себе функцію лінійно, коли ви не знаєте її форми, або що випадкові змінні є незалежними, коли ви не знаєте їх точної залежності. Я ні, ні, і не буду змушений робити жодне з цих припущень.

— Марк Л. Стоун

5

@Neil Я вважаю, що частиною точки Марка може бути те, що виправдання не є примусом.

— whuber

5

@Neil Далеко від цього! Спочатку ви повинні припустити, що принцип максимальної ентропії є корисним і застосовним до вашої статистичної проблеми. Далі ви повинні бути абсолютно впевнені, що нічого іншого ви не можете припустити щодо розподілу. І те й інше є проблематичним. (У більшості статистичних проблем, з якими я стикався - поза сферою теоретичної фізики, - перша не була правдою; і я ніколи не бачив проблем у реальному світі, де це стосується останнього.)

— whuber

1

@Neil Mark and whuber. Я намагався уточнити цей параграф. Я думаю, що «припускати нічого іншого» - це розумне звичайне мовне пояснення того, що намагається зробити принцип максимальної ентропії. Будучи звичайною мовою, можна, звичайно, покласти інше тлумачення. Ось чому нам потрібна математика. Більш точне твердження полягає в тому, що ми не додаємо ніякої інформації в сенсі Шеннона. Посилання пояснюють це далі.

— Гарет

1

@gareth рівномірне розповсюдження всіх причин (що, я думаю, ви мали на увазі в своєму останньому коментарі), було б дуже неправильним розподілом. Ваша претензія на максимальну ентропію як вашого драйвера до нормального розподілу є головним припущенням; чому це більш сильно, ніж припускати щось інше, наприклад мінімальний дальність?

— Генрі

3

Нормальний розподіл (ака « Гаусове розподіл ») має міцну математичну основу. Центральна гранична теорема свідчить , що якщо у вас є кінцеве безліч п незалежні і однаково розподілені випадкові величини , що мають певне середнього значення і дисперсію, і ви берете середнє з цих випадкових величин, розподіл результату буде сходитися до гауссовскому розподілу при п іде до нескінченності. Тут немає здогадів, оскільки математичне виведення призводить до цієї конкретної функції розподілу і жодної іншої.

Щоб сказати це на більш відчутних термінах, розглянемо одну випадкову змінну, таку як гортання справедливої монети (2 однаково можливих результату). Шанси на отримання конкретного результату - 1/2 для голови та 1/2 для хвостів.

Якщо ви збільшите кількість монет і відстежите загальну кількість головок, отриманих з кожним випробуванням, то ви отримаєте Біноміальний розподіл , який має приблизно дзвіночну форму. Просто графік з кількістю головок по осі x і кількістю разів, коли ви перевернули стільки головок по осі y.

Чим більше монет ви використовуєте, і чим більше разів гортаєте монети, тим ближче графік буде виглядати як крива дзвона Гаусса. Ось що стверджує Центральна гранична теорема.

Дивовижна річ у тому, що теорема не залежить від того, як насправді розподіляються випадкові змінні, лише доки кожна з випадкових змінних має однаковий розподіл. Однією з ключових ідей теореми є те, що ви додаєте або усреднюєте випадкові величини. Інша ключова концепція полягає в тому, що теорема описує математичну межу, коли кількість випадкових змінних стає все більшою і більшою. Чим більше змінних ви використовуєте, тим ближче до розподілу наближатиметься до нормального розподілу.

Я рекомендую вам взяти клас математичної статистики, якщо ви хочете побачити, як математики визначили, що нормальне розподіл насправді є математично правильною функцією для кривої дзвону.

— користувач126665
джерело

Дякую за ваш внесок. Було б правильно, якби ви пояснили, що розподіл суми (або середнього) повинен бути стандартизованим. В іншому випадку розподіл суми не наближається до межі, а розподіл середнього наближається до постійної. Але як ця публікація відповідає на поставлені питання? (Правда, виникають різні запитання, і всі вони розгублені і розпливчасті, але вони, здається, запитують про те, як була відкрита або виведена формула для документа Гаусса.)

— whuber

2

На цю тему є кілька відмінних відповідей. Я не можу не відчути, що ОП не задали те саме запитання, як всі хочуть відповісти. Я розумію це, тому що це близько до того, що на одне з найбільш хвилюючих питань відповісти - я насправді знайшов це, бо сподівався, що у когось виникне питання "Як ми знаємо, що нормальний PDF - це PDF?" і я його шукав. Але я думаю, що відповідь на питання може бути в тому, щоб продемонструвати походження нормального розподілу.

$n$ $n$ $np$ $np(1-p)$ $n\to\infty$

$n\to\infty$ $p\to0$ $np=1$

$n=10$ $p=0.5$ $n=100$ $p=0.5$ $n$

Якщо я зараз скидаю 100 монет на землю і підраховую, скільки голів я отримаю, я можу нарахувати 0 голів, або я можу нарахувати 100 голів, але я, швидше за все, рахую число десь посередині. Ви бачите, чому ця гістограма повинна мати дзвіночну форму?

— пташиний піг
джерело

+1 - проте зауважте, що я обговорюю де Moivre в декількох частинах своєї відповіді. Ви можете знайти остаточну замітку в моїй відповіді стосовно розбіжностей у посиланнях цікавою - варто насправді подивитися на те, що де Моївр написав, щоб побачити, наскільки здається, що різні характеристики його твору утримуються. Конкретне обговорення того, чому біноміальний cdf стає добре апроксимованим нормальним cdf за відповідних умов, обговорюється у статті Чому біноміальний розподіл має дзвіночку?

— Glen_b -Встановити Моніку

1

Зазначимо також виведення Максвелла-Гершеля незалежного багатоваріантного нормального розподілу з двох припущень:

На розподіл не впливає обертання вектора.
Компоненти вектора є незалежними.

Ось експозиція Джейнеса

— Роа
джерело