Мозок-тизер: Яка очікувана довжина послідовності iid, яка монотонно збільшується, коли виводиться з рівномірного [0,1] розподілу?

Це питання для інтерв'ю для кількісної позиції аналітика, про яку тут повідомляється . Припустимо, ми виводимо з рівномірного розподілу, а розіграші - iid, яка очікувана довжина монотонно зростаючого розподілу? Тобто, ми припиняємо малювати, якщо поточний малюнок менший або рівний попередньому розіграшу. $[0,1]$

Я отримав перші кілька:

Pr (length = 1) = \int_{0}^{1} \int_{0}^{x_{1}} d x_{2} d x_{1} = 1 / 2

$\Pr(\text{length} = 1) = \int_0^1 \int_0^{x_1} \mathrm{d}x_2\, \mathrm{d}x_1 = 1/2$

Pr (length = 2) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{0}^{x_{2}} d x_{3} d x_{2} d x_{1} = 1 / 3

$\Pr(\text{length} = 2) = \int_0^1 \int_{x_1}^1 \int_0^{x_2} \mathrm{d}x_3 \, \mathrm{d}x_2 \, \mathrm{d}x_1 = 1/3$

Pr (length = 3) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{x_{2}}^{1} \int_{0}^{x_{3}} d x_{4} d x_{3} d x_{2} d x_{1} = 1 / 8

$\Pr(\text{length} = 3) = \int_0^1 \int_{x_1}^1 \int_{x_2}^1 \int_0^{x_3} \mathrm{d}x_4\, \mathrm{d}x_3\, \mathrm{d}x_2\, \mathrm{d}x_1 = 1/8$

але мені здається, що обчислити ці вкладені інтеграли все складніше, і я не отримую "хитрості" для узагальнення до $\Pr(\text{length} = n)$ . Я знаю, що остаточна відповідь структурована

E (length) = \sum_{n = 1}^{\infty} n Pr (length = n)

$\mathbb E(\text{length}) = \sum_{n=1}^{\infty}n\Pr(\text{length} = n)$

Будь-які ідеї, як відповісти на це питання?

— Амазонська
джерело

Відповіді:

Ось декілька загальних підказок щодо вирішення цього питання:

У вас є послідовність безперервних IID випадкових змінних, що означає, що вони можуть бути обмінні . Що це означає про ймовірність отримання певного порядку для перших $n$ значень? Виходячи з цього, яка ймовірність отримати зростаюче замовлення для перших $n$ значень? Зрозуміти це можливо без інтеграції над розподілом базових випадкових величин. Якщо ви зробите це добре, ви зможете отримати відповідь без будь-якого припущення про рівномірний розподіл, тобто ви отримаєте відповідь, яка застосовується до будь-яких змінних послідовностей безперервних випадкових змінних.

Ось повне рішення ( не дивіться, якщо ви повинні самі це з'ясувати ):

Нехай є вашою послідовністю незалежних безперервних випадкових величин, і нехай - кількість елементів, що збільшуються, на початку послідовності. Оскільки це безперервні обмінні випадкові величини, вони майже напевно нерівні між собою, і будь-яке впорядкування однаково ймовірне, тому у нас є: (Зверніть увагу, що цей результат справедливий для будь-якої послідовності IID безперервних випадкових змінних; вони не повинні мати рівномірний розподіл.) Отже, випадкова величина має функцію масової ймовірності $U_1, U_2, U_3, \cdots \sim \text{IID Continuous Dist}$ $N \equiv \max \{ n \in \mathbb{N} | U_1 < U_2 < \cdots < U_n \}$
$P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n}) = \frac{1}{n!} .$ $\mathbb{P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n) = \frac{1}{n!}.$ $N$ $p_{N} (n) = P (N = n) = \frac{1}{n!} - \frac{1}{(n + 1)!} = \frac{n}{(n + 1)!} .$ $p_N(n) = \mathbb{P}(N=n) = \frac{1}{n!} - \frac{1}{(n+1)!} = \frac{n}{(n+1)!}.$ Ви помітите, що цей результат узгоджується зі значеннями, які ви обчислили, використовуючи інтеграцію за основними значеннями. (Ця частина не потрібна для рішення; вона включена для повноти.) Використовуючи добре відоме правило для очікуваного значення негативної випадкової величини , ми маємо: Зауважте ще раз, що в нашій роботі немає нічого, що використовувало б базовий рівномірний розподіл. Отже, це загальний результат, який стосується будь-якої обмінної послідовності безперервних випадкових величин. $E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n) = \sum_{n = 1}^{\infty} \frac{1}{n!} = e - 1 = 1.718282.$ $\mathbb{E}(N) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n) = \sum_{n=1}^\infty \frac{1}{n!} = e - 1 = 1.718282.$

Деякі подальші відомості:

З вищенаведених робіт ми бачимо, що цей розподільний результат і отримане очікуване значення не залежать від базового розподілу, доки він є безперервним розподілом. Це насправді не дивно, якщо ми врахуємо той факт, що кожна неперервна скалярна випадкова величина може бути отримана за допомогою монотонного перетворення рівномірної випадкової величини (перетворення є її квантильною функцією). Оскільки монотонні перетворення зберігають ранговий порядок, дивлячись на ймовірність впорядкування довільних IID безперервних випадкових змінних - це те саме, що дивитись на ймовірності впорядкування IID- рівномірних випадкових величин.

— Відновіть Моніку
джерело

Чудово зроблено! (+1)

— jbowman

@Ben я стежу за вами до останнього рівняння ... Я думав, очікуване значення повинно бути, а не ... чи можете ви поясніть цю деталь детальніше?

E (N) = \sum_{n = 1}^{\infty} P (N = n) * n = \sum_{n = 1}^{\infty} n^{2} / (n + 1)!

$E(N)=∑_{n=1}^∞P(N=n)*n=∑_{n=1}^∞ n^2/(n+1)!$

E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n)

$E(N)=∑_{n=1}^∞P(N⩾n)$

— Амазонія

Це добре відоме правило для очікуваного значення невід’ємної випадкової величини . Використовуючи техніку, що передбачає заміну порядку підсумок, у вас є: Отже, ви повинні знайти, що .

E (N) = \sum_{n = 1}^{\infty} n P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = 1}^{n} P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = n}^{\infty} P (N = k) = \sum_{n = 1}^{\infty} P (N ⩾ n) .

$\mathbb{E}(N) = \sum_{n=1}^\infty n \mathbb{P}(N=n) = \sum_{n=1}^\infty \sum_{k=1}^n \mathbb{P}(N = n) = \sum_{n=1}^\infty \sum_{k=n}^\infty \mathbb{P}(N =k) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n).$

\sum_{n} \frac{1}{n!} = \sum_{n} \frac{n^{2}}{(n + 1)!}

$\sum_n \tfrac{1}{n!} = \sum_n \tfrac{n^2}{(n+1)!}$

— Відновіть Моніку

Чи можете ви, будь ласка, детальніше пояснити, чому ?

P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n})

${P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n)$

— badmax

@badmax: Випадкова величина - кількість зростаючих елементів на початку послідовності (див. її визначення). Таким чином, якщо це означає, що на початку послідовності є принаймні зростаючих елементів. Це означає, що перші елементів повинні бути у порядку зростання, що становить .

N

$N$

U

$U$

N ⩾ n

$N \geqslant n$

n

$n$

n

$n$

U_{1} < U_{2} < \dots < U_{n}

$U_1 < U_2 < \cdots < U_n$

— Відновіть Моніку

Ще один метод вирішення, який дає вам рішення для більш загального випадку.

Припустимо, - очікувана довжина монотонної послідовності , така що . Значення, яке ми хочемо обчислити, - . І ми знаємо . Умови для наступного значення, $F(x)$ $\{x_1, x_2, ...\}$ $x\leq x_1\leq x_2\leq\cdots$ $F(0)$ $F(1)=0$

F (x) = \int_{0}^{x} π (y) \cdot 0 d y + \int_{x}^{1} π (y) (1 + F (y)) d y = \int_{x}^{1} 1 + F (y) d y

$F(x) = \int_0^x \pi(y)\cdot 0 dy + \int_x^1\pi(y)(1+F(y))dy= \int_x^1 1+F(y) dy$

де - щільність U [0,1]. Так $\pi(y)=1$

F^{'} (x) = - (1 + F (x))

$F'(x)=-(1+F(x))$

Розв’язуючи граничну умову , отримаємо . Звідси . $F(1)=0$ $F(x) = e^{(1-x)}-1$ $F(0)=e-1$

— jf328
джерело

Це дуже розумно. Просто, щоб трохи прописати це: ваші спостереження полягають у тому, що 1) якщо - довжина найдовшої початкової послідовності збільшення мінус одна, то досить визначити і встановити , 2) дорівнює нулю, якщо і іншому випадку. Оскільки отримаємо , яку в рівномірному випадку можна вирішити безпосередньо.

L

$L$

E (L | X_{0} = x) =: F (x)

$E(L|X_0=x)=:F(x)$

x = 0

$x=0$

E (L | X_{0} = x, X_{1} = y)

$E(L|X_0=x,X_1=y)$

y < x

$y<x$

1 + E (L | X_{0} = y)

$1+E(L|X_0=y)$

E (L | X_{0} = x) = E (E (L | X_{0} = x, X_{1})) = \int_{R} f_{X} (y) E (L | X_{0} = x, X_{1} = y) d y = \int_{x}^{1} f_{X} (y) (1 + E (L | X_{0} = y)) d y = \int_{x}^{1} f_{X} (y) (1 + F (y)) d y

$E(L|X_0=x)=E(E(L|X_0=x,X_1)) = \int_\mathbb{R} f_X(y) E(L|X_0=x, X_1=y) dy = \int_x^1 f_X(y)(1+E(L|X_0=y))dy= \int_x^1 f_X(y)(1+F(y))dy$

F^{'} (x) = - f_{X} (x) (1 + F (x))

$F'(x)=-f_X(x)(1+F(x))$

— Меттью Тауерс

+1 Дуже розумно дійсно. Але оскільки остаточна відповідь не залежить від розподілу (як обговорюється інша відповідь), це обчислення також повинно якось не залежати від . Чи є спосіб це побачити? CC до @m_t_.

π (y)

$\pi(y)$

— амеба каже, що повернемо Моніку

@amoeba Я погоджуюся, що не повинен залежати від розподілу s, але інші значення повинні: загальне рішення цього DE -

F (0)

$F(0)$

X

$X$

F

$F$

F = C e^{- \int π} - 1

$F=Ce^{-\int \pi}-1$

— Меттью Тауерс

@MartijnWeterings Я думаю, що , а не 1, наприклад, в єдиному випадку ми отримуємо

C = e

$C=e$

e e^{- x} - 1

$e e^{-x} -1$

— Matthew Towers

Так, ти правий. Я використав єдиний випадок, щоб вивести своє твердження, але помилково використав замість

c e^{1 - x} - 1

$ce^{1-x}-1$

c e^{- x} - 1

$ce^{-x}-1$

— Секст Емпірік

Ще один метод вирішення - обчислити інтеграл безпосередньо.

Ймовірність генерації послідовності, збільшуюча частина якої має довжину є , де . $\geq n$ $f^n(0)$ $f^n(x) = \int_{x}^{1}\int_{x_1}^{1}\int_{x_2}^{1}...\int_{x_{n-2}}^{1}\int_{x_{n-1}}^{1}dx_ndx_{n-1}...dx_2dx_1$

Що нам потрібно зробити - це обчислити . $f^n(0)$

Якщо ви спробуєте обчислити перші кілька , можливо, ви виявите, що $f^n(x)$ $f^n(x) = \sum_{t=0}^n \dfrac{(-x)^t}{t!(n-t)!}$

Базовий випадок: коли , $n=1$ $f^1(x) = \sum_{t=0}^1 \dfrac{(-x)^t}{t!(n-t)!}=1-x=\int_{x}^{1}dx_1$

Індуктивна гіпотеза: коли , $n=k$ $f^n(x) = \sum_{t=0}^k \dfrac{(-x)^t}{t!(k-t)!}\text{ , for }k \geq 1$

Індуктивний крок: коли , $n = k+1$

$\ \ \ \ \ f^{n}(x) = f^{k+1}(x) = \int_{x}^{1}f^{k}(x^*)dx^*$

$=\int_{x}^{1}\sum_{t=0}^{k} \dfrac{(-x^*)^t}{t!(k-t)!}dx^*$

$=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{t!(k-t)!\times(t+1)}\Biggr|_{x}^{1}\\=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{(t+1)!(k-t)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{-(-x^*)^{t}}{t!(k-t+1)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}}{t!(k-t+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}+\sum_{t=0}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}-\dfrac{(1-1)^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=0}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

За математичною індукцією припущення має місце.

Таким чином, отримуємо, що $f^n(0)=\dfrac{1}{n!}$

Отже, $E(length)=\sum_{n=1}^{\infty} Pr(length\geq n)=\sum_{n=1}^{\infty} \dfrac{1}{n!}=e-1$

— 劉家維
джерело