Чи існує зразковий варіант однобічної нерівності Чебишева?

Мене цікавить наступна однобічна версія Кантеллі про нерівність Чебишева :

$$\mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,.$$

В основному, якщо ви знаєте середню сукупність та дисперсію, ви можете обчислити верхню межу щодо ймовірності спостереження певного значення. (Це було принаймні моє розуміння.)

Однак я хотів би використовувати середню вибірку та дисперсію вибірки замість фактичної середньої сукупності та дисперсії.

Я здогадуюсь, що оскільки це призведе до більшої невизначеності, верхня межа зросте.

Чи існує нерівність, аналогічна вищезазначеній, але для цього використовуються середнє значення та дисперсія вибірки?

Редагувати : Розроблено "зразок" аналога нерівності Чебишева (не однобічний). На сторінці Вікіпедії є деякі деталі. Однак я не впевнений, як це було б переведено на той однобічний випадок, який я маю вище.

Так, ми можемо отримати аналогічний результат, використовуючи середню вибірку та відхилення вибірки, можливо, пара невеликих сюрпризів з'являється в процесі.

По-перше, нам потрібно ще трохи уточнити постановку питання і викласти кілька припущень. Важливо, що повинно бути зрозуміло, що ми не можемо сподіватися замінити дисперсію сукупності на дисперсію вибірки з правого боку, оскільки остання є випадковою ! Отже, ми переорієнтуємо свою увагу на еквівалентну нерівність

$$\mathbb P\left( X - \mathbb E X \geq t \sigma \right) \leq \frac{1}{1+t^2} \>.$$ Якщо не зрозуміло, що вони еквівалентні, зауважте, що ми просто замінили$t$ на$t \sigma$ в початковій нерівності, не втрачаючи загальності.

По-друге, ми припускаємо, що у нас є випадкова вибірка $X_1,\ldots,X_n$ і нас цікавить верхня межа аналогічної величини $\mathbb P(X_1 - \bar X \geq t S)$ , де $\bar X$ - середня вибірка і $S$ - стандартне відхилення вибірки.

На півкроку вперед

Зауважимо, що вже застосовуючи початкову однобічну нерівність Чебишева до $X_1 - \bar X$ , отримуємо, що деσ2=Var(X1), щоменше,ніж права частина оригінальної версії. Це має сенс! Будь-яка конкретна реалізація випадкової величини з вибірки, як правило, буде (трохи) ближче до середньої вибірки, до якої вона сприяє, ніж середньої сукупності. Як ми побачимо нижче, ми отримаємо замінитиσнаSпід ще більш загальними припущеннями.

$$\mathbb P( X_1 - \bar X \geq t\sigma ) \leq \frac{1}{1 + \frac{n}{n-1}t^2}$$ $\sigma^2 = \mathrm{Var}(X_1)$$\sigma$$S$

Зразок версії однобічного Чебишева

Claim: Let $X_1,\ldots,X_n$ be a random sample such that $\mathbb P(S = 0) = 0$. Then,

$$\mathbb P(X_1 - \bar X \geq t S) \leq \frac{1}{1 + \frac{n}{n-1} t^2}\>.$$ In particular, the sample version of the bound is tighter than the original population version.

Note: We do not assume that the $X_i$ have either finite mean or variance!

Proof. The idea is to adapt the proof of the original one-sided Chebyshev inequality and employ symmetry in the process. First, set $Y_i = X_i - \bar X$ for notational convenience. Then, observe that

$$\mathbb P( Y_1 \geq t S ) = \frac{1}{n} \sum_{i=1}^n \mathbb P( Y_i \geq t S ) = \mathbb E \frac{1}{n} \sum_{i=1}^n \mathbf 1_{(Y_i \geq t S)} \>.$$

Now, for any $c > 0$, on $\{S > 0\}$,

$$\newcommand{I}[1]{\mathbf{1}_{(#1)}} \I{Y_i \geq t S} = \I{Y_i + t c S \geq t S (1+c)} \leq \I{(Y_i + t c S)^2 \geq t^2 (1+c)^2 S^2} \leq \frac{(Y_i + t c S)^2}{t^2(1+c)^2 S^2}\>.$$

Then,

$$\frac{1}{n} \sum_i \I{Y_i \geq t S} \leq \frac{1}{n} \sum_i \frac{(Y_i + t c S)^2}{t^2(1+c)^2 S^2} = \frac{(n-1)S^2 + n t^2 c^2 S^2}{n t^2 (1+c)^2 S^2} = \frac{(n-1) + n t^2 c^2}{n t^2 (1+c)^2} \>,$$ since $\bar Y = 0$ and $\sum_i Y_i^2 = (n-1)S^2$.

The right-hand side is a constant (!), so taking expectations on both sides yields,

$$\mathbb P(X_1 - \bar X \geq t S) \leq \frac{(n-1) + n t^2 c^2}{n t^2 (1+c)^2} \>.$$ Finally, minimizing over $c$, yields $c = \frac{n-1}{n t^2}$, which after a little algebra establishes the result.

That pesky technical condition

Note that we had to assume $\mathbb P(S = 0) = 0$ in order to be able to divide by $S^2$ in the analysis. This is no problem for absolutely continuous distributions, but poses an inconvenience for discrete ones. For a discrete distribution, there is some probability that all observations are equal, in which case $0 = Y_i = t S = 0$ for all $i$ and $t > 0$.

We can wiggle our way out by setting $q = \mathbb P(S = 0)$. Then, a careful accounting of the argument shows that everything goes through virtually unchanged and we get

Corollary 1. For the case $q = \mathbb P(S = 0) > 0$, we have

$$\mathbb P(X_1 - \bar X \geq t S) \leq (1-q) \frac{1}{1 + \frac{n}{n-1} t^2} + q \>.$$

Proof. Split on the events $\{S > 0\}$ and $\{S = 0\}$. The previous proof goes through for $\{S > 0\}$ and the case $\{S = 0\}$ is trivial.

A slightly cleaner inequality results if we replace the nonstrict inequality in the probability statement with a strict version.

Corollary 2. Let $q = \mathbb P(S = 0)$ (possibly zero). Then,

$$\mathbb P(X_1 - \bar X > t S) \leq (1-q) \frac{1}{1 + \frac{n}{n-1} t^2} \>.$$

Final remark: The sample version of the inequality required no assumptions on $X$ (other than that it not be almost-surely constant in the nonstrict inequality case, which the original version also tacitly assumes), in essence, because the sample mean and sample variance always exist whether or not their population analogs do.

This is just a complement to @cardinal 's ingenious answer. Samuelson Inequality, states that, for a sample of size $n$, when we have at least three distinct values of the realized $x_i$'s, it holds that

$$x_i-\bar x < s\sqrt{n-1},\;\; i=1,...n$$ where $s$ is calculated without the bias correction, $s= \left (\frac 1n\sum_{i=1}^n(x_i-\bar x)^2\right)^{1/2}$.

Then, using the notation of Cardinal's answer we can state that

$$\mathbb P\left(X_1-\bar X \ge S\sqrt{n-1}\right) =0 \;\;a.s. \qquad [1]$$

Since we require, three distinct values, we will have $S\neq 0$ by assumption. So setting $t=\sqrt{n-1}$ in Cardinal's Inequality (the initial version) we obtain

$$\mathbb P\left (X_1 - \bar X \geq S\sqrt{n-1}\right) \leq \frac{1}{1 + n}, \;\; \qquad [2]$$

Eq. $[2]$ is of course compatible with eq. $[1]$. The combination of the two tells us that Cardinal's Inequality is useful as a probabilistic statement for $0< t < \sqrt{n-1}$.

If Cardinal's Inequality requires $S$ to be calculated bias-corrected (call this $\tilde S$) then the equations become

$$\mathbb P\left(X_1-\bar X \ge \tilde S\frac{n-1}{\sqrt{n}}\right) =0 \;\;a.s. \qquad [1a]$$

and we choose $t= \frac{n-1}{\sqrt{n}}$ to obtain through Cardinal's Inequality

$$\mathbb P\left (X_1 - \bar X \geq \tilde S\frac{n-1}{\sqrt{n}}\right) \leq \frac{1}{ n}, \;\; \qquad [2a]$$ and the probabilistically meaningful interval for $t$ is $0< t < \frac{n-1}{\sqrt{n}}.$