З точки зору неспеціалістів, чим відрізняється модель і розподіл?

Відповіді (визначення), визначені у Вікіпедії, є, мабуть, трохи критиками для тих, хто не знає вищу математику / статистику.

У математичних термінах, статистична модель зазвичай вважаються як пара ( ), де S є безліч можливих спостережень, тобто вибіркового простору, а P являє собою безліч імовірнісних розподілів на S .$S, \mathcal{P}$$S$$\mathcal{P}$$S$

У ймовірності та статистиці розподіл ймовірностей присвоює ймовірності кожному вимірюваному підмножині можливих результатів випадкового експерименту, опитування чи процедури статистичного висновку. Знайдено приклади, простір вибірки яких не є числовим, де розподіл було б категоричним розподілом.

Я студент середньої школи дуже зацікавлений в цій області , як хобі , і я в даний час борюся з відмінностями між тим, що є statistical modelіprobability distribution

Моє поточне і дуже рудиментарне розуміння таке:

• статистичні моделі - це математичні спроби наблизити вимірювані розподіли

• розподіл ймовірностей вимірюється описом експериментів, який присвоює ймовірності кожному можливому результату випадкової події

плутанину ще більше посилює тенденція в літературі бачити слова "розподіл" і "модель", які використовуються взаємозамінно - або, принаймні, в дуже схожих ситуаціях (наприклад, біноміальний розподіл проти біноміальної моделі)

Чи може хтось перевірити / виправити мої визначення та, можливо, запропонувати більш формалізований (хоч і все ще з точки зору простої англійської) підхід до цих понять?

Розподіл ймовірностей - це математична функція, яка описує випадкову змінну. Трохи точніше, це функція, яка присвоює ймовірності числам, і її вихід повинен погоджуватися з аксіомами ймовірності .

Статистична модель - це абстрактний, ідеалізований опис якогось явища в математичному плані з використанням розподілів ймовірностей. Цитуючи Вассермана (2013):

Статистична модель являє собою набір розподілів (або щільності або функції регресії). Параметрична модель являє собою набір F , який може бути параметризрвані кінцевим числом параметрів. [...] $\mathfrak{F}$$\mathfrak{F}$

Загалом параметрична модель приймає форму

$$\mathfrak{F} = \{ f (x; \theta) : \theta \in \Theta \}$$

де - невідомий параметр (або вектор параметрів), який може приймати значення в просторі параметрів Θ . Якщо θ - вектор, але нас цікавить лише одна складова θ , ми називаємо параметри, що залишилися неприємними . Непараметрична модель являє собою набір F , який не може бути параметризрвані кінцевим числом параметрів.$\theta$ $\Theta$$\theta$$\theta$$\mathfrak{F}$

У багатьох випадках ми використовуємо дистрибутиви як моделі (ви можете перевірити цей приклад ). Ви можете використовувати двочленний розподіл як модель підрахунку голів у серії кидків монет. У такому випадку ми припускаємо, що цей розподіл описує спрощеним чином фактичні результати. Це не означає, що це єдиний спосіб того, як можна описати таке явище, а також те, що біноміальний розподіл не є чимось, що може бути використане лише для цієї мети. Модель може використовувати один або кілька дистрибутивів, тоді як байєсівські моделі також задають попередні розподіли.

Більш формально це обговорюється McCullaugh (2002):

Відповідно до прийнятих в даний час теорій [Кокс і Хінклі (1974), глава 1; Леманн (1983), глава 1; Барндорф-Нільсен та Кокс (1994), розділ 1.1; Бернардо і Сміт (1994), Глава 4] статистична модель являє собою набір імовірнісних розподілів на просторі зразка . Параметризрвані статистична модель являє собою параметр & thetas ; встановлюється разом з функцією P : & thetas ; → P ( S ) , який присвоює кожну точку параметра & thetas ; ∈ & thetas ; розподіл ймовірностей Р & thetas ; на S . Тут P ( S ) - сукупність усіх$\mathcal{S}$$\Theta$$P : \Theta \rightarrow \mathcal{P} (\mathcal{S})$$\mathcal{\theta \in \Theta}$$P \theta$$\mathcal{S}$$\mathcal{P}(\mathcal{S})$ розподілу ймовірностей на . У більшій частині наступного важливо розрізняти модель як функцію P : Θ → P ( S ) і пов'язаний з нею набір розподілів P Θ ⊂ P ( S ) .$\mathcal{S}$$P : \Theta \rightarrow \mathcal{P} (\mathcal{S})$$P\Theta \subset \mathcal{P} (\mathcal{S})$

Тож статистичні моделі використовують розподіл ймовірностей для опису даних у їх термінах. Параметричні моделі також описані з точки зору скінченного набору параметрів.

Це не означає, що всі статистичні методи потребують розподілу ймовірностей. Наприклад, лінійна регресія часто описується з точки зору припущення про нормальність , але насправді вона є досить надійною для відхилень від нормальності, і нам потрібне припущення про нормальність помилок для довірчих інтервалів та перевірки гіпотез. Отже, щоб регресія працювала, нам не потрібне таке припущення, але щоб мати повністю визначену статистичну модель, нам потрібно описати її через випадкові величини, тому нам потрібні розподіли ймовірностей. Я пишу про це, тому що часто можна почути людей, які говорять про те, що вони використовували регресійну модель для своїх даних - у більшості таких випадків вони швидше означають, що вони описують дані у вигляді лінійного співвідношення між цільовими значеннями та предикторами з використанням деяких параметрів, ніж наполягають на умовному нормальність.

McCullagh, P. (2002). Що таке статистична модель? Літописи статистики, 1225-1267.

Васерман, Л. (2013). Вся статистика: стислий курс статистичного висновку. Спрингер.

Подумайте про як набір квитків . Ви можете писати речі на квиток. Зазвичай квиток починається з імені якоїсь реальної людини або предмета, який він "представляє" або "моделі". На кожному квитку багато порожнього місця для написання інших речей.$\mathcal{S}$

Ви можете зробити стільки копій кожного квитка, скільки вам потрібно. Модель імовірності для цього реального населення або процесу складається з створення однієї або декількох копій кожного квитка, змішування їх і складання їх у вікно. Якщо ви - аналітик - зможете встановити, що процес витягування одного квитка випадковим чином з цього вікна імітує всю важливу поведінку того, що ви вивчаєте, тоді ви можете багато дізнатися про світ, подумавши про цю скриньку. Оскільки деякі квитки в коробці можуть бути більшими, ніж інші, вони можуть мати різницькі шанси на витяг Теорія ймовірностей вивчає ці шанси.$\mathbb{P}$

Коли на квитках записуються номери (послідовно), вони породжують (вірогідність) розподілу. Розподіл ймовірностей лише характеризує частку квитків в поле число яких лежить в межах будь-якого заданого інтервалу.

Оскільки ми зазвичай не знаємо, як саме поводиться світ, ми мусимо уявляти різні поля, у яких квитки з’являються з різною відносною частотою. Безліч цих ящиків . Ми вважаємо , що світ , як адекватно описується поведінка однієї з коробок в P . Ваша мета - зробити обґрунтовані здогадки про те, який саме ящик, виходячи з того, що ви бачите на квитках, які ви вийняли з нього.$\mathcal{P}$$\mathcal{P}$

Як приклад (який практичний і реалістичний, а не іграшковий підручник), припустимо, ви вивчаєте швидкість хімічної реакції, оскільки вона змінюється в залежності від температури. Припустимо, що теорія хімії передбачає, що в інтервалі температур від 0 до 100 градусів швидкість пропорційна температурі.$y$$0$$100$

Ви плануєте вивчити цю реакцію як при і при 100 градусах, роблячи кілька спостережень при кожній температурі. Тому ви складаєте дуже-дуже велику кількість коробок. Ви збираєтесь заповнити кожну скриньку квитками. На кожному з них написана константа швидкості. На всіх квитках у будь-якому вікні вказана однакова константа тарифу. У різних полях використовуються постійні швидкості. $0$$100$

Використовуючи постійну ставку, записану на будь-якому квитку, ви також записуєте ставку в і швидкість у 100 градусів: називайте ці y 0 і y 100 . Але цього ще недостатньо для хорошої моделі. Хіміки також знають, що жодна речовина не є чистою, жодна кількість точно не вимірюється, і виникають інші форми мінливості спостережень. Для моделювання цих "помилок" ви робите дуже-дуже багато копій своїх квитків. На кожній копії ви змінюєте значення y 0 і y 100 . У більшості з них ви їх змінюєте лише трохи. На дуже небагато ви можете їх сильно змінити. Ви записуєте стільки змінених значень, скільки плануєте спостерігати при кожній температурі. Ці$0$$100$$y_0$$y_{100}$$y_0$$y_{100}$спостереження представляють можливі видимі результати вашого експерименту. У коробці йде кожен такий набір цих квитків: це імовірнісна модель для того, що ви могли б спостерігати за дану константу швидкості.

Те , що ви дійсно спостерігаєте моделюються малюнок квитка з цього ящика і читання тільки зауважень , написаних там. Ви не можете бачити основні (справжні) значення або y 100 . Ви не можете прочитати константу (справжньої) швидкості. Це не надається вашим експериментом.$y_0$$y_{100}$

$y_0$$y_{100}$

Оскільки спостереження, написані на кожному квитку, є числами, вони породжують розподіл ймовірностей. Припущення, зроблені щодо коробок, як правило, формулюються з точки зору властивостей цих розподілів, наприклад, чи мають вони становити середнє значення до нуля, бути симетричними, мати форму "кривої дзвіночки", є некорельованими чи будь-якими іншими.

Це дійсно все, що там є. Набагато, що примітивна шкала дванадцяти тонів породила всю західну класичну музику, колекція скринь, що містять квитки, - це проста концепція, яку можна використовувати надзвичайно багатим і складним способом. Він може моделювати практично все, починаючи від перекидання монети до бібліотеки відео, баз даних взаємодій Веб-сайтів, квантово-механічних ансамблів і всього іншого, що можна спостерігати та записувати.

$\pi$

Типові параметричні статистичні моделі описують, як параметр (и) розподілу залежать від певних речей, таких як фактори (змінна, що має дискретні значення) та коваріати (безперервні змінні). Наприклад, якщо в звичайному розподілі ви припускаєте, що середнє може бути описане деяким фіксованим числом ("перехопленням") і деяким числом ("коефіцієнтом регресії"), кратним значенням коваріату, ви отримуєте лінійну регресійну модель з нормально розподілений термін помилки. Для двочленного розподілу одна часто використовувана модель ("логістична регресія"$\pi$$\pi/(1-\pi)$$\text{intercept}+\beta_1 \text{covariate}_1+\ldots$

Розподіл ймовірностей дає всю інформацію про те, як коливається випадкова кількість. На практиці ми, як правило, не маємо повного розподілу ймовірності нашої кількості інтересів. Ми можемо про це щось знати чи припустити, не знаючи чи припускаючи, що ми все про це знаємо. Наприклад, ми можемо припустити, що деяка кількість зазвичай розподіляється, але нічого не знає про середнє значення та дисперсію. Тоді у нас є колекція кандидатів для розподілу на вибір; у нашому прикладі це всі можливі нормальні розподіли. Цей збірник розподілів формує статистичну модель. Ми використовуємо їх, збираючи дані, а потім обмежуючи наш клас кандидатів, щоб усі інші кандидати відповідали даним у певному сенсі.

Модель задається PDF, але це не PDF.

Розподіл ймовірностей (PDF) - це функція, яка присвоює ймовірності числу, і його вихід повинен узгоджуватися з аксіомами ймовірності, як пояснив Тім .

Модель повністю визначається розподілом вірогідності, але це більше того. У прикладі метання монети наша модель могла бути "монета справедлива" + "кожен кидок незалежний". Цю модель задає PDF, який є двочленним з p = 0,5.

$P(x_1, x_2, x_3, ...)$

Однією з відмінностей між моделлю та PDF є те, що модель може бути інтерпретована як статистична гіпотеза. Наприклад, під час метання монет ми можемо розглянути модель, де монета справедлива (p = 0,5), і що кожен кидок є незалежним (двочленний), і сказати, що це наша гіпотеза, яку ми хочемо перевірити на конкуруючу гіпотезу .

$p$$p$

Ви ставите дуже важливе запитання, Алан, і отримали кілька чудових відповідей вище. Я хотів би запропонувати більш просту відповідь, а також вказати додатковий вимір до розрізнення, до якого вищевказані відповіді не стосувалися. Для простоти все, що я тут скажу, стосується параметричних статистичних моделей.

$y = a x^2 + b x + c$$y = m x + b$$F = -k x$$m$$b$$k$

Отже, мій короткий відповідь №1 на ваше запитання: статистична модель - це сімейство розподілів.

Подальший момент, який я хотів зробити, стосується класифікатора, статистичного . Як зазначає Юдея Перл у своєму "золотому праві причинного аналізу" [1, с350],

Жодна причинно-наслідкова претензія не може бути встановлена ​​суто статистичним методом, будь то показники схильності, регресії, стратифікації чи будь-який інший дизайн, заснований на розподілі.

$F=-kx$ тобто твердження про розподіл ймовірностей.

Отже, мій відповідь №2 на ваше запитання полягає в тому, що моделі, як правило, втілюють причинно-наслідкові ідеї, які не можуть бути виражені суто розповсюдженням.

[1]: Перлина, Юдея. Причинність: моделі, міркування та умовиводи. 2-е видання. Кембридж, Великобританія; Нью-Йорк: Cambridge University Press, 2009. Посилання на § 11.3.5, включаючи цитовану с. 351.