Чому кількість безперервних однорідних змінних на (0,1), необхідних для їх суми, перевищує одиницю, має значення

Підведемо підсумок потоку випадкових величин, $X_i \overset{iid}\sim \mathcal{U}(0,1)$ ; нехай $Y$ - кількість доданків, яких нам потрібно, щоб загальна сума перевищила один, тобто $Y$ - найменше число, таке, що

$$X_1 + X_2 + \dots + X_Y > 1.$$

Чому середнє значення $Y$ дорівнює постійній Ейлера $e$ ?

$$\mathbb{E}(Y) = e = \frac{1}{0!} + \frac{1}{1!} + \frac{1}{2!} + \frac{1}{3!} + \dots$$

Перше спостереження: $Y$ має більш приємний CDF, ніж PMF

Функція маси ймовірностей $p_Y(n)$ - це ймовірність того, що $n$ "лише достатньо", щоб загальна сума перевищила єдність, тобто $X_1 + X_2 + \dots X_n$ перевищує одиницю, а $X_1 + \dots + X_{n-1}$ робить ні.

Кумулятивний розподіл $F_Y(n) = \Pr(Y \leq n)$ просто вимагає, що $n$ "достатньо", тобто $\sum_{i=1}^{n}X_i > 1$ без обмеження на скільки. Це виглядає як набагато простіша подія, щоб вирішити ймовірність.

Друге спостереження: $Y$ приймає невід’ємні цілі значення, тому $\mathbb{E}(Y)$ можна записати через CDF

Ясно , що $Y$ може приймати тільки значення в $\{0, 1, 2, \dots\}$ , так що ми можемо написати його середнє з точки зору додаткового КОР ,$\bar F_Y$.

$$\mathbb{E}(Y) = \sum_{n=0}^\infty \bar F_Y(n) = \sum_{n=0}^\infty \left(1 - F_Y(n) \right)$$

Насправді $\Pr(Y=0)$ і $\Pr(Y=1)$ обидва дорівнюють нулю, тому перші два доданки є $\mathbb{E}(Y) = 1 + 1 + \dots$ .

Щодо пізніших термінів, якщо $F_Y(n)$ - це ймовірність, що $\sum_{i=1}^{n}X_i > 1$ , то яка подія є $\bar F_Y(n)$ ймовірністю?

Third observation: the (hyper)volume of an $n$-simplex is $\frac{1}{n!}$

The $n$-simplex I have in mind occupies the volume under a standard unit $(n-1)$-simplex in the all-positive orthant of $\mathbb{R}^n$: it is the convex hull of $(n+1)$ vertices, in particular the origin plus the vertices of the unit $(n-1)$-simplex at $(1, 0, 0, \dots)$, $(0, 1, 0, \dots)$ etc.

For example, the 2-simplex above with $x_1 + x_2 \leq 1$ has area $\frac{1}{2}$ and the 3-simplex with $x_1 + x_2 + x_3 \leq 1$ has volume $\frac{1}{6}$.

For a proof that proceeds by directly evaluating an integral for the probability of the event described by $\bar F_Y(n)$, and links to two other arguments, see this Math SE thread. The related thread may also be of interest: Is there a relationship between $e$ and the sum of $n$-simplexes volumes?

Fix $n \ge 1$. Let

$$U_i = X_1 + X_2 + \cdots + X_i \mod 1$$ be the fractional parts of the partial sums for $i=1,2,\ldots, n$. The independent uniformity of $X_1$ and $X_{i+1}$ guarantee that $U_{i+1}$ is just as likely to exceed $U_i$ as it is to be less than it. This implies that all $n!$ orderings of the sequence $(U_i)$ are equally likely.

Given the sequence $U_1, U_2, \ldots, U_n$, we can recover the sequence $X_1, X_2, \ldots, X_n$. To see how, notice that

• $U_1 = X_1$ because both are between $0$ and $1$.

• If $U_{i+1} \ge U_i$, then $X_{i+1} = U_{i+1} - U_i$.

• Otherwise, $U_i + X_{i+1} \gt 1$, whence $X_{i+1} = U_{i+1} - U_i + 1$.

There is exactly one sequence in which the $U_i$ are already in increasing order, in which case $1 \gt U_n = X_1 + X_2 + \cdots + X_n$. Being one of $n!$ equally likely sequences, this has a chance $1/n!$ of occurring. In all the other sequences at least one step from $U_i$ to $U_{i+1}$ is out of order. This implies the sum of the $X_i$ had to equal or exceed $1$. Thus we see that

$$\Pr(Y \gt n) = \Pr(X_1 + X_2 + \cdots + X_n \le 1) = \Pr(X_1 + X_2 + \cdots + X_n \lt 1) = \frac{1}{n!}.$$

This yields the probabilities for the entire distribution of $Y$, since for integral $n\ge 1$

$$\Pr(Y = n) = \Pr(Y \gt n-1) - \Pr(Y \gt n) = \frac{1}{(n-1)!} - \frac{1}{n!} = \frac{n-1}{n!}.$$

Moreover,

$$\mathbb{E}(Y) = \sum_{n=0}^\infty \Pr(Y \gt n) = \sum_{n=0}^\infty \frac{1}{n!} = e,$$

QED.

In Sheldon Ross' A First Course in Probability there is an easy to follow proof:

Modifying a bit the notation in the OP, $U_i \overset{iid}\sim \mathcal{U}(0,1)$ and $Y$ the minimum number of terms for $U_1 + U_2 + \dots + U_Y > 1$, or expressed differently:

$$Y = min\Big\{n: \sum_{i=1}^n U_i>1\Big\}$$

If instead we looked for:

$$Y(u) = min\Big\{n: \sum_{i=1}^n U_i>u\Big\}$$ for $u\in[0,1]$, we define the $f(u)=\mathbb E[Y(u)]$, expressing the expectation for the number of realizations of uniform draws that will exceed $u$ when added.

We can apply the following general properties for continuous variables:

$E[X] = E[E[X|Y]]=\displaystyle\int_{-\infty}^{\infty}E[X|Y=y]\,f_Y(y)\,dy$

to express $f(u)$ conditionally on the outcome of the first uniform, and getting a manageable equation thanks to the pdf of $X \sim U(0,1)$, $f_Y(y)=1.$ This would be it:

$$f(u)=\displaystyle\int_0^1 \mathbb E[Y(u)|U_1=x]\,dx \tag 1$$

If the $U_1=x$ we are conditioning on is greater than $u$, i.e. $x>u$, $\mathbb E[Y(u)|U_1=x] =1 .$ If, on the other hand, $x <u$, $\mathbb E[Y(u)|U_1=x] =1 + f(u - x)$, because we already have drawn $1$ uniform random, and we still have the difference between $x$ and $u$ to cover. Going back to equation (1):

$$f(u) = 1 + \displaystyle\int_0^x f(u - x) \,dx$$ , and with substituting $w = u - x$ we would have $f(u) = 1 + \displaystyle\int_0^x f(w) \,dw$.

If we differentiate both sides of this equation, we can see that:

$$f'(u) = f(u)\implies \frac{f'(u)}{f(u)}=1$$

with one last integration we get:

$$log[f(u)] = u + c \implies f(u) = k \,e^u$$

We know that the expectation that drawing a sample from the uniform distribution and surpassing $0$ is $1$, or $f(0) = 1$. Hence, $k = 1$, and $f(u)=e^u$. Therefore $f(1) = e.$