Розглянемо суму рівномірних розподілів на , або . Чому в PDF- зникає для ?

Я деякий час замислювався над цим; Я вважаю це трохи дивно, як це круто відбувається. В основному, навіщо нам просто три форми для щоб згладити, як це? І чому згладжування відбувається так відносно швидко? $Z_n$

$Z_2$ :

$Z_3$ :

(зображення безсоромно викрадені з блогу Джона Д. Кука: http://www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/ )

Чому б не взяти, скажімо, чотири уніформи? Або п’ять? Або ...?

— тетраграмматон
джерело

добре, щоб бути таким простим, як бути легким, тому що сума 3 обмундирування має квадратичні відрізки у своєму pf, і як тільки ви отримаєте дві або більше форми, у вас є пік середнього рівня. Квадратний пік "гладкий" ... і з'єднання між квадратичними фігурами знаходяться на 1 і 2, тому він не може зігнутися на 1,5; Є й інші способи дійти того ж висновку

— Glen_b

Ми можемо використовувати різні підходи до цього, будь-який з яких може здатися інтуїтивним для деяких людей і менш інтуїтивним для інших. Для задоволення такої варіації ця відповідь описує декілька таких підходів, що охоплюють основні підрозділи математичної думки - аналіз (нескінченне та нескінченно мале), геометрія / топологія (просторові відносини) та алгебра (формальні закономірності символічного маніпулювання) - а також сама ймовірність. Він завершився спостереженням, яке об'єднує всі чотири підходи, демонструє, що тут має бути відповідне справжнє питання, і точно показано, в чому полягає проблема. Кожен підхід забезпечує по-своєму глибше розуміння природи форм функцій розподілу ймовірності сум незалежних рівномірних змінних.

Фон

Рівномірний розподіл $[0,1]$ має кілька основних описів. Коли має такий розподіл, $X$

Шанс, що лежить у вимірюваному множині - це лише міра (довжина) , написана. $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
З цього випливає, що функція кумулятивного розподілу (CDF) є

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
Функція щільності ймовірності (PDF), яка є похідною CDF, є для і іншому випадку. (Не визначено в і ) $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

Інтуїція з характерних функцій (аналіз)

Характеристична функція (КФ) будь випадкової величини є очікування (де це уявна одиниця, ). Використовуючи PDF рівномірного розподілу, ми можемо обчислити $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

CF - це (версія) перетворення Фур'є у форматі PDF, . Найбільш основні теореми про перетворення Фур'є: $\phi(t) = \hat{f}(t)$

CF суми незалежних змінних є добутком їх CF. $X+Y$
Коли вихідний PDF є безперервним і обмежений, може бути відновлений із CF за допомогою тісно пов'язаної версії перетворення Фур'є, $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

Коли диференційоване, його похідну можна обчислити за цілісним знаком: $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
Щоб це було чітко визначено, останній інтеграл повинен абсолютно збігатися; це,

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
повинні сходитися до кінцевого значення. І навпаки, коли вона конвергується, похідна існує скрізь завдяки цим формулам інверсії.

Тепер зрозуміло, наскільки точно відрізняється PDF за сумою рівномірних змінних: від першої кулі, CF суми iid змінних - це CF однієї з них, піднятий до потужності, тут дорівнює . Чисельник обмежений (складається з синусоїд), тоді як знаменник - . Ми можемо помножити такий інтеград на і він все одно буде абсолютно сходитися, коли і умовно сходиться, коли . Таким чином, багаторазове застосування третьої кулі показує, що PDF для суми рівномірних змінних буде постійно $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ час диференційований і, в більшості місць, він буде разів диференційований. $n-1$

CF для n = 10

Синя затінена крива - це лог-журнальний графік абсолютного значення реальної частини CF суми однорідних змінних. Пунктирна червона лінія - це асимптота; її нахил дорівнює , показуючи, що PDF - разів. Для довідки, сіра крива зображує реальну частину CF для аналогічної форми Гауссової функції (звичайний PDF). $n=10$ $-10$ $10 - 2 = 8$

Інтуїція від ймовірності

Нехай і є незалежними випадковими змінними, де має рівномірний розподіл. Розглянемо вузький інтервал . Ми розкладаємо шанс того, що на ймовірність, що достатньо близький до цього інтервалу, більше, ніж шанс, що - просто потрібний розмір розмістити в цьому інтервалі, враховуючи, що досить близько: $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

Остаточне рівність приходить з виразу для прва . Ділення обох сторін на та прийняття межі як дає $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

Іншими словами, додавання Уніфікованої змінної до будь-якої змінної змінює pdf на різницю CDF . Оскільки PDF є похідною CDF, це означає, що кожного разу, коли ми додаємо незалежну рівномірну змінну , отриманий PDF є в один раз більш диференційованим, ніж раніше. $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

Давайте застосуємо це розуміння, починаючи з єдиної змінної . Оригінальний PDF не може бути диференційований у або : він там припиняється. У форматі PDF з НЕ дифференцируема в точці , або , але вона повинна бути неперервна в тих точках, тому що це різниця інтегралів PDF з . Додайте ще одну незалежну рівномірну змінну : PDF можна диференціювати на , , і - але це не обов'язково має другий $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ похідні в цих точках. І так далі.

Інтуїція з геометрії

CDF при суми однорідних змінних дорівнює об єму одиничної гіперкуби лежить у півпросторі . Тут показана ситуація для змінних, при цьому встановлюється на , , а потім на . $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

3D куб

У міру прогресування від до гіперплана перетинає вершини при , . З кожним разом змінюється форма перерізу: на рисунку спочатку це трикутник ( -простий), потім шестикутник, потім знову трикутник. Чому PDF не має різких вигинів при цих значеннях ? $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

Щоб зрозуміти це, спочатку розглянемо невеликі значення . Тут гіперплан відсікає -простий. Всі розміри симплекса прямо пропорційні , звідки його "площа" пропорційна . Деякі позначення для цього стануть у нагоді пізніше. Нехай є "функцією одиничного кроку". $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

Якби не наявність інших куточків гіперкуба, це масштабування тривало б нескінченно. Діаграма площі -простого виглядала б як суцільна синя крива внизу: вона дорівнює нулю при від'ємних значеннях і дорівнюєпри позитивному, зручно написаному. Він має "перегин" порядку за початком, в тому сенсі, що всі похідні через порядок існують і є безперервними, але ліві та праві похідні порядку існують, але не погоджуються при походженні . $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

(Інші криві, показані на цьому малюнку, - (Червоний), (Золото) і (Чорний). Їх ролі у випадку обговорюються далі нижче.) $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

Проста ділянка ділянки

Щоб зрозуміти, що відбувається, коли перетинає , розглянемо детально випадок , де вся геометрія відбувається в площині. Ми можемо розглядати одиницю "куба" (тепер просто квадрат) як лінійну комбінацію квадрантів , як показано тут: $t$ $1$ $n=2$

Квадранти

Перший квадрант з’являється в нижній лівій панелі, сірим кольором. Значення дорівнює , визначаючи діагональну лінію, показану на всіх п’яти панелях. CDF дорівнює жовтої області, зображеній справа. Ця жовта зона складається з: $t$ $1.5$

Трикутна сіра зона в нижній лівій панелі,
мінус трикутна зелена зона у верхній лівій панелі,
мінус трикутна червона зона в нижній середній панелі,
плюс будь-яка синя область у верхній середній панелі (але немає такої області, і не буде, поки перевищить ). $t$ $2$

Кожна з цих областей - це область трикутника. Перша шкала на зразок , наступні два дорівнюють нулю для а в іншому випадку масштабується як , а остання дорівнює нулю для і в іншому випадку масштабує . Цей геометричний аналіз встановив, що CDF пропорційний = ; еквівалентно, що PDF пропорційний сумі трьох функцій , і $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ (кожен з них масштабується лінійно, коли ). На лівій панелі цього малюнка показані їхні графіки: очевидно, що вони всі версії оригінального графіка , але (a) зміщені на , і одиниці вправо і (b) змінено на , та відповідно. $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

Графіки для n = 2

Права панель показує суму цих графіків (суцільна чорна крива, нормалізована для одиниці площі: це саме кутовий PDF, показаний в оригінальному запитанні.

Тепер ми можемо зрозуміти природу "перегинів" у PDF будь-якої суми однорідних змінних iid. Вони всі точно так само, як "перегин", який виникає при у функції , можливо, змінити масштаб і переміститися на цілі числа відповідні місцевості гіперплана перетинає вершини гіперкуба. Для це видима зміна напрямку: права похідна при дорівнює а ліва похідна - . Для це безперервна $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ зміна напрямку, але раптова (переривчаста) зміна другої похідної. Для загального будуть похідні похідні через порядок але розрив у похідній . $n$ $n-2$ $n-1^\text{st}$

Інтуїція з алгебраїчної маніпуляції

Інтеграція для обчислення КФ, форма умовної ймовірності в імовірнісному аналізі та синтез гіперкуба як лінійної комбінації квадрантів все це дозволяє повернутися до початкового рівномірного розподілу та повторно виразити його як лінійну комбінацію більш простих речей . Дійсно, його PDF можна написати

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

Введемо оператор зсуву : він діє на будь-яку функцію , переміщуючи свій графік на одну одиницю праворуч: $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

Офіційно тоді для PDF єдиної змінної ми можемо написати $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

PDF суми iid мундирів - це згортання із самим разів. Це випливає з визначення суми випадкових величин: згортка двох функцій і є функцією $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

Неважко перевірити, що згортання змінюється з . Просто змініть змінну інтеграції з на : $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

Для PDF-файлу суми iid мундирів ми можемо продовжити алгебраїчно писати $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

(де "потужність" позначає повторну згортку, а не точкове множення!). Тепер - це пряма, елементарна інтеграція, що дає $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

Решта - алгебра, оскільки застосовується біноміальна теорема (як це стосується будь-якої комутативної алгебри над реалами):

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

Оскільки просто зміщує свій аргумент на , це демонструє PDF як лінійну комбінацію зміщених версій , точно так, як ми вивели геометрично: $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

(Джон Кук цитує цю формулу пізніше у своєму дописі в блозі, використовуючи позначення for .) $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

Відповідно, оскільки - це гладка функція скрізь, будь-яка особлива поведінка PDF відбуватиметься лише в тих місцях, де є сингулярним (очевидно, всього ), і в тих місцях, які зміщені праворуч на . Характер такої особливості поведінки - ступінь гладкості - тому буде однаковим у всіх місцях. $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

Ілюструючи це малюнком для , що показує (на панелі ліворуч) окремі доданки в сумі і (на правій панелі) часткові суми, що досягають самої суми (суцільна чорна крива): $n=8$

Сюжет при n = 8

Заключні коментарі

Корисно зауважити, що цей останній підхід нарешті дав компактний, практичний вираз для обчислення PDF сумою ятих рівномірних змінних. (Аналогічно отримана формула CDF.) $n$

Теорема про центральну межу тут мало сказати. Зрештою, сума iid біноміальних змінних сходиться до нормального розподілу, але ця сума завжди дискретна: вона ніколи навіть не має PDF! Ми не повинні сподіватися, що будь-яка інтуїція щодо "перегинів" чи інших заходів диференційованості PDF-файлу походить від CLT.

— дзижчати
джерело

(+1) Фантастично! Тепер, скільки часу вам знадобилося, щоб ви все це зібрали ?!

— кардинал

@Cardinal Це було останнє питання, яке я прочитав перед тим, як втратити владу минулого понеділка. Протягом наступного тижня довгі темні вечори давали можливість продумати це через :-) і для розваги розробити кілька відповідей. Після того, як влада була відновлена минулих вихідних, було лише питання знайти час, щоб зробити ілюстрації та написати все (що, як я вважаю, зайняло більше часу, ніж очікувалося). Я сподіваюсь, що, можливо, частина цього потоку може послужити посиланням на відповідні майбутні питання щодо сум випадкових змінних.

— whuber

Ого. Я б хотів, щоб я міг «улюбити» цю відповідь .

— Ревінь

Бубер, це абсолютно дивовижно. Я ніколи не усвідомлював, наскільки глибоким може бути таке просте запитання. Мені знадобиться певний час, щоб детально відповісти, але поки що дуже дякую!

— тетраграмматон

Я буду порушувати політику SE щодо коментарів, кажучи, що ми (всі crossvalidate.com) повинні підкупити вашу енергетичну компанію частіше відключати владу :)

— mpiktas