Яка найдивніша характеристика гауссового (нормального) розподілу?

52

Стандартизований розподіл Гаусса на можна визначити, чітко вказавши його щільність: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

або його характерна функція.

Як згадується в цьому питанні, це також єдиний розподіл, для якого середнє значення та дисперсія вибірки не залежать.

Які ще дивовижні альтернативні характеристики гауссових заходів, які ви знаєте? Я прийму найдивовижнішу відповідь

— жирард Робін
джерело

39

Моє особисте найдивовижніше - це про середню вибірку та дисперсію вибірки, але ось ще одна (можливо) дивна характеристика: якщо і IID з кінцевою дисперсією, незалежно від і , то і є нормальними. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Інтуїтивно ми зазвичай можемо ідентифікувати, коли змінні не є незалежними за допомогою розсіювача. Тож уявіть розсип пар пар, який виглядає незалежним. Тепер поверніть на 45 градусів і подивіться знову: якщо воно все ще виглядає незалежним, то координати і окремо повинні бути нормальними (звичайно, це все говорить вільно). $(X,Y)$ $X$ $Y$

Щоб зрозуміти, чому працює інтуїтивний біт, погляньте

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

— user1108
джерело

3

Джей - це в основному повторне твердження про те, що середня величина і дисперсія є незалежними. - це середньомасштабне середнє значення, а - масштабоване стандартне відхилення.

X + Y

$X+Y$

X - Y

$X-Y$

— ймовірністьлогічний

5

@probabilityislogic - мені подобається інтуїція того, що ви сказали, але я не думаю, що це саме перерахунок, тому що не зовсім переосмислення SD: SD забуває знак. Отже незалежність середнього значення та SD випливає з незалежності , (коли ), але не навпаки. Можливо, це було те, що ви мали на увазі під принципом "в основному". У всякому разі, це хороші речі.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Де ми можемо знайти докази цієї властивості?

— Рой

1

@Royi див. 16. тут . Для (а) зауважимо, що . Для (б) зауважимо, що який прагне заміни з якого ви отримуєте . Якщо , то , отже, для всіх , і є послідовність така, що і для всіх , що суперечить безперервності при

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) є прямим [продовження]

— Габріель Ромон

1

Для (d), . Зауважимо, що , отже, . Вставте це в попередньому рівність і довести , що при фіксованому , , яке означає для всіх . Це означає, що є реальною, і рівність у (a) перетворюється на те, що задається. Знову доведіть, що і використовуйте щоб отримати . Звідси і

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ нормальний.

— Габріель Ромон

27

Безперервний розподіл з фіксованою дисперсією, яка максимально збільшує диференціальну ентропію, є розподілом Гаусса.

— шабчеф
джерело

22

Про це написана ціла книга: "Характеристики нормального закону ймовірності", А. М. Матей та Г. Пердерзолі. Короткий огляд JASA (грудень 1978 р.) Згадує таке:

Нехай - незалежні випадкові величини. Тоді і є незалежними, де , якщо і тільки тоді, коли [нормально розподіляються]. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

— калачі
джерело

3

повинна бути така умова, як відсутня? наприклад, якщо n = 2 і не є незалежними.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

— Робін Жирард

1

@robin хороший улов. Я також спантеличував неявні квантори. На жаль, все, що у мене є, - це те, що цитують цитату з рецензії, а не книгу. Було б весело знайти її в бібліотеці та переглядати її ...

— whuber

Це відчувається як узагальнення відповіді Г. Джея Кернса (наразі №1).

— vqv

Я думаю, ви можете шукати папери Лукача і Кінга (1954). Дивіться цю відповідь на math.SE із посиланням на вищезгаданий документ.

— кардинал

2

Якщо ця пропозиція говорить "де ", чи означає це для ВСІХ наборів скаларів, де "? Де "слід використовувати для пояснення свого позначення, як у" де швидкість світла, а - валовий внутрішній продукт "тощо.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

— Майкл Харді

17

Гауссові розподіли - єдині стійкі за сумою розподіли з кінцевою дисперсією.

— шабчеф
джерело

8

Те, що вони є стабільними за сумою і що вони є унікальними з кінцевою дисперсією, обидва нас змушують CLT. Цікавою частиною цього твердження є те, що існують інші стабільні за сумою розподіли!

— whuber

1

@whuber: справді! ця характеристика трохи спотворена, а інші, стабільні за сумою розподіли, можливо, більш цікаві.

— shabbychef

@whuber насправді, я не бачу, як CLT має на увазі цей факт. Це, здається, говорить нам про те, що асимптотично сума нормалей є нормальною, а не те, що будь-яка кінцева сума нормально розподілена. Або вам доведеться якось також використовувати теорему Слуцького?

— shabbychef

3

Прийнявши звичайну стандартизацію, сума двох нормалей - це сума одного нормального розподілу X_0 плюс граничний розподіл рядів X_1, X_2, ..., звідки сума є граничним розподілом X_0, X_1, ..., яка Ліндеберг-Леві CLT - це нормально.

— whuber

17

Лема Штейна дає дуже корисну характеристику. є стандартним гауссовим iff для всіх абсолютно неперервних функцій з . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

— об. Vqv
джерело

12

Теорема [Гершель-Максвелл]: Нехай - випадковий вектор, для якого (i) проекції на ортогональні підпростори є незалежними, і (ii) розподіл залежить тільки від довжини. Тоді нормально розподілений. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Цитується Джорджем Коббом у « Навчальній статистиці»: Деякі важливі напруження (Чилійська Дж. Статистика, т. 2, № 1, квітень 2011 р.) На с. 54.

Кобб використовує цю характеристику як вихідну точку для отримання розподілів , і , не використовуючи обчислення (або теорії ймовірностей великої кількості). $\chi^2$ $t$ $F$

— качана
джерело

9

Нехай і - дві незалежні випадкові величини із спільним симетричним розподілом таким, що $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Тоді ці випадкові величини є гауссовими. (Очевидно, якщо і в центрі гаусса, це правда.) $\xi$ $\eta$

Це теорема Бобкова-Ходре

— жирард Робін
джерело

9

Це не характеристика, а здогадка, яка бере свій початок з 1917 року і пов'язана з Кантеллі:

Якщо - позитивна функція на а і є незалежними випадковими змінними, такими, що є нормальним, то - константа майже скрізь. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Тут згадав Герард Летак .

— Зробив
джерело

добре, що ви це згадуєте! Я не можу зрозуміти інтуїцію, чи не так?

— Робін Жирард

@robin Це робить цю гіпотезу такою особливою: абсолютно елементарне твердження, деякі очевидні підходи, які невдало провалюються (характерні функції), і одному не можна зрозуміти ... До речі, чи варто робити ставку на те, що гіпотеза справжня чи помилковим? Навіть це не очевидно (для мене).

— Чи

2

Якби Жерар Летак не зумів це довести, це може тривалий час залишатися відкритим здогадом ...!

— Сіань

@ Xi'an: Звичайно, я повністю згоден. (Не знав, що ти роумуєш у цих кварталах Інтернету ... Гарні новини, що ти є.)

— Чи

6

@ Сіань Ось препринт Віктора Клепцин і Аліни Kurtzmann з контрприклад до гіпотези Кантеллі. У конструкції використовується новий інструмент, який автори називають броунівським масовим транспортом, і він дає переривчасту функцію . Автори констатують, що вони вважають, що гіпотеза Кантеллі справедлива, якщо запитати, що є безперервним (їхня суміш двох безперервних функцій).

f

$f$

f

$f$

— Чи

8

Припустимо, що це оцінка параметра розташування за допомогою даних iid . Якщо - максимальний показник вірогідності, то розподіл вибірки є гауссовим. Відповідно до теорії ймовірності Джейнеса : Логіка науки, с. 202-4, саме так Гаусс її спочатку вивів. $\{x_1,...,x_n\}$ $\bar{x}$

— Синя
джерело

Я не впевнений, що розумію це як характеристику нормального розподілу, тому мені, мабуть, щось не вистачає. Що робити , якщо ми мали дані н.о.р. Пуассона і хотів оцінити ? MLE є але розподіл вибірки не є гауссовим - по-перше, повинен бути раціональним; по-друге, якби це був Гаусс, то це було б але це .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

— Срібна рибка

2

Середнє значення Пуассона - не параметр розташування!

— kjetil b halvorsen

6

Більш конкретна характеристика нормального розподілу серед класів нескінченно поділених розподілів представлена у Стютел та Ван Харн (2004) .

Невироджена нескінченно подільна випадкова величина має нормальний розподіл, якщо і тільки якщо вона задовольняє $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Цей результат характеризує нормальний розподіл з точки зору його хвостової поведінки.

— обороту користувача10525
джерело

1

Короткий доказ заявленої межі полягає в наступному: Якщо є звичайним нормальним, то як , так . Але тому результат випливає. Приблизний ескіз для випадку Пуассона, схоже, вказує на те, що дана межа є , але я не перевіряв цього занадто уважно.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

— кардинал

6

У контексті згладжування зображення (наприклад, масштабний простір ) Гаусс є єдиним ротаційно-симетричним роздільним * ядром.

Тобто, якщо нам потрібен де , то обертальна симетрія вимагає що еквівалентно .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Якщо вимагає, щоб було належним ядром, тоді константа повинна бути від'ємною та початковою величиною позитивною, даючи ядра Гаусса. $f[x]$

* У контексті розподілу ймовірностей роздільні засоби означають незалежність, тоді як у контексті фільтрації зображень це дозволяє звести 2D згортку обчислювально до двох 1D згортків.

— GeoMatt22
джерело

2

+1 Але це не випливає з негайного застосування теореми Гершеля-Максвелла у 2D?

— whuber

@whuber Дійсно, мені якось вдалося не помітити вашу відповідь, переглядаючи цю тему!

— Амеба каже, що повернеться до Моніки

@whuber Так. Я детально не читав цю стару тему і просто додавав цю відповідь на запит.

— GeoMatt22

1

@amoeba дивіться також тут .

— GeoMatt22

3

Нещодавно Ейсмонт [1] опублікував статтю з новою характеристикою Гауссана:

Нехай є незалежними випадковими векторами з усіма моментами, де невироджені, і нехай статистика мають розподіл, який залежить лише від , де і . Тоді є незалежними і мають однаковий нормальний розподіл з нульовими значеннями і для . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Ейсмонт, Віктор. "Характеристика нормального розподілу незалежністю пари випадкових векторів". Статистика та ймовірнісні листи 114 (2016): 1-5.

— Даніель
джерело

1

Це тонка і захоплююча характеристика. Дякуємо, що покращили цю тему, поділившись нею!

— whuber

1

Його характерна функція має таку ж форму, як і її pdf. Я не впевнений у іншому розподілі, який це робить.

— Джейсон
джерело

4

Дивіться цю мою відповідь щодо способів побудови випадкових змінних, характерні функції яких такі ж, як і їхні pdfs.

— Діліп Сарват

-1

Очікування плюс мінус стандартного відхилення - це точки сідла функції.

— Тал Галілі
джерело

11

Це, безумовно, властивість нормального розподілу, але це не характеризує його, оскільки велика кількість інших розподілів також має цю властивість.

— whuber