Зворотний зв’язаний Чернофф

Чи є зворотна межа Черноффа, яка обмежує ймовірність хвоста принаймні настільки великою.

тобто якщо є незалежними біноміальними випадковими змінними та . Тоді ми можемо довести Pr [\ sum_ {i = 1} ^ n X_i \ geq (1+ \ delta) \ mu] \ geq f (\ mu, \ delta, n) для деякої функції f .$X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

Ось явний доказ того, що стандартна прив'язка Черноффа є тісною до постійних факторів в експоненті для певного діапазону параметрів. (Зокрема, щоразу, коли змінні дорівнюють 0 або 1, і 1 з вірогідністю 1/2 або менше, і $\epsilon\in(0,1/2)$ , а верхня межа Черноффа менша за постійну.)

Якщо ви виявили помилку, будь ласка, повідомте мене про це.

Лема 1. (герметичність, пов'язана з Чернофом) Нехай $X$ - середнє значення $k$ незалежних, 0/1 випадкових величин (rv). Для будь-якого $\epsilon\in(0,1/2]$ та $p\in(0,1/2]$ , припускаючи $\epsilon^2 p k \ge 3$ ,

(i) Якщо кожен rv дорівнює 1, ймовірність не більше $p$ , то

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Якщо кожен rv дорівнює 1 з вірогідністю принаймні $p$ , то

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Доказ. Ми використовуємо таке спостереження:

Заява 1. Якщо , то ($1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Доведення твердження 1. За наближенням Стірлінга де , А , ∈ [ 1 / ( 12 я + 1 ) , 1 / 12 я ] $i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Таким чином, , що є , принаймні QED k$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$≥

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Доведення леми 1 частина (i). Без втрати загальності припустимо, що кожна випадкова величина 0/1 у сумі дорівнює 1 з вірогідністю точно . Примітка дорівнює сумі , і .p Pr [ X ≤ ( 1 - ϵ ) p ] ∑ ⌊ ( 1 - ϵ ) p k ⌋ i = 0 Pr [ X = i / k $X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Виправити . Терміни в сумі збільшуються, тому кожен із термінів з індексом має значення принаймні , тому їх сума має принаймні загальне значення . Для завершення доказу покажемо, що i ≥ ℓ Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ≥ exp ( - 9 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Припущення і дають , тому ліва частина зверху є принаймні . Використовуючи пункт 1 для прив'язки , це, у свою чергу, принаймні де і $\epsilon^2pk\ge 3$epsi ; р до ≥ 6 $\epsilon\le 1/2$$\epsilon pk \ge 6$($\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$A = $A\, B$ B= ($A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Для закінчення показуємо і .B ≥ exp ( - 8 ϵ 2 p k $A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Претензія 2. $A \ge \exp({-\epsilon^2 pk})$

Доведення твердження 2. Припущення та увазі (i) .epsi ; & le ; 1 / 2 р до ≥ $\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

За визначенням, . За (i), . Таким чином, (ii) .p k ≥ 12 $\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

Заміна правої частини (ii) для в дає (iii) .A A ≥ $\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

Припущення, , означає, що , що з (iii) дає (iv) .ϵ $\epsilon^2 pk \ge 3$ A≥$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

З випливає, що (v) .exp ( - ϵ 2 p k ) ≤ exp ( $\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) та (v) разом подають вимогу. QED

Претензія 3. .$B\ge \exp({-8\epsilon^2 pk})$

Доказ вимоги 3. Виправити таким чином, що . Вибір передбачає , тому претензія буде тримати до тих пір, поки . Приймаючи кожну сторону цієї останньої нерівності до потужності та спрощуючи, вона рівносильна Підставляючи та спрощуючи, він еквівалентний ℓ = ( 1 - δ ) p k ℓ δ ≤ 2 ϵ B ≥ exp ( - 2 δ 2 p k ) - 1 / ℓ $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$ℓ=(1-δ)pk(1-δ)(1+δ

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ln( $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Беручи логарифм обох сторін і використовуючи двічі, він буде тримати до тих пір, як Ліва частина вище спрощує до , що менше оскільки . QED- $\ln(1+z)\le z$δ 2 $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ 2 δ 2 / ( 1 - δ ) $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

У пунктах 2 та 3 випливає, що . Це означає частину (i) леми.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Доведення леми 1 частина (ii). Без втрати загальності припустимо, що кожна випадкова величина дорівнює з вірогідністю точно .$1$$p$

Примітка . Виправити .ℓ = ⌈ ( 1 + 2 ε ) р до ⌉ - $\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Останній у загальній сумі принаймні , що становить принаймні . (Доказом цього є те саме, що і для (i), за винятком замінено на і замінено на таким, що .) QED( ε р до - 2 ) Pr [ Х = л / к ] ехр ( - 9 ε 2 р до ) л л & delta ; - & delta ; л = ( 1 + & delta ; ) р $\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

Беррі-есе теорема може дати хвіст ймовірності нижні межі, до тих пір , як вони вище , ніж .$n^{-1/2}$

Іншим інструментом, яким ви можете скористатися, є нерівність Пейлі-Жигмунда . Це означає, що для будь-якого навіть цілого і будь-якої реальної значення випадкової величини ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Разом з мультиноміальною теоремою для сума випадкових змінних радіамахер Палей-Зігмунд може отримати вам досить сильні нижні межі. Також він працює з випадковими змінними незалежної незалежності. Наприклад, ви легко зрозумієте, що сума 4-мудріх незалежних випадкових величин - з постійною ймовірністю.n n ± 1 Ω ( $X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Якщо ви дійсно не в порядку з обмеженнями сум випробувань Бернуллі (а не, скажімо, обмеженими випадковими змінними), наступне досить чітко.

Нерівність шламу *. Нехай - iid малює з rn Бернуллі з , і нехай буде задано ціле число . Якщо або (a) і , або (b) , то де - cdf стандартної норми. Е ( Х 1 ) = р до ≤ п р ≤ 1 / 4 п р ≤ до п р ≤ до ≤ п ( 1 - р ) Pr [ Σ я X я ≥ K ] ≥ 1 - Φ ( k - n $\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Трактуючи аргумент до як перетворення стандартного нормального, це точно узгоджується з тим, що вам каже CLT; насправді, це говорить нам, що біноміали, що задовольняють умовам теореми, будуть домінувати над відповідними гауссами на верхніх хвостах.)$\Phi$

Звідси ви можете використовувати межі на щоб отримати щось приємніше. Наприклад, у першій книзі Феллера, в розділі про Гаусса, для кожного показано, що де - щільність стандартної норми. У статті Вікіпедії подібні межі є і для "Q-функції".z > $\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Окрім цього та того, що сказали інші люди, ви також можете спробувати скористатися біноміалом безпосередньо, можливо, з деяким Стерлінг.

(*) Деякі новіші твердження про нерівність Слуду виключають деякі з цих умов; Я відтворив цю в статті Slud.

Теорема де Моєр-Лапласа показує, що такі змінні, як, після відповідного нормалізації та за певних умов, перейде в розподіл до нормального розподілу. Цього достатньо, якщо потрібно постійні нижчі межі.$|T\cap S_1|$

Для нижчих меж, таких як , вам потрібен трохи тонший інструмент. Ось одна відома мені довідка (але лише випадково - я ніколи не мав можливості використовувати таку нерівність сам). Деякі явні нижні межі щодо хвостових ймовірностей біноміальних розподілів наведені як теорема 1.5 книги " Випадкові графіки " Бели Болобаш, Кембридж, 2-е видання, де подані додаткові посилання на Вступ до ймовірності та його застосування Феллером та Основи ймовірності Рені.$n^{-c}$

Узагальнена теорема Літтлвуда-Оффорда не є саме такою, яку ви хочете, але вона дає те, що я вважаю "зворотним Черноффом", пов'язаним, показуючи, що сума випадкових змінних навряд чи потрапить у малий діапазон навколо якогось конкретного значення (в т.ч. очікування). Можливо, це стане в нагоді.

Формально теорема така.

Узагальнена теорема Літлвуда-Оффорда : Нехай і - дійсні числа, такі, що для і нехай є незалежними випадковими змінними, які мають значення нуль і одне. Для припустимо, що для всіх . Тоді для будь-якого , Де - константа залежно лише від . s > 0 | a i | ≥ s 1 ≤ i ≤ n X 1 , … , X n 0 < $a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Експонент у стандартній межі Чорноффа, як зазначено у Вікіпедії, є щільним для випадкових змінних 0/1. Нехай і нехай - це послідовність незалежних випадкових величин, така що для кожного , і . Тоді для кожного , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Тут , що є розбіжністю Куллбека-Лейблера між випадковими Бернуллі змінні з параметрами і .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Як вже було сказано, верхня межа нерівності, наведеної вище, доведена у Вікіпедії ( https://en.wikipedia.org/wiki/Chernoff_bound ) під назвою "Теорема Черноффа-Гоффдінга, форма добавки". Нижню межу можна довести, наприклад, "методом типів". Див. Лему II.2 в [1]. Також це висвітлено в класичному підручнику з теорії інформації Ковер та Томаса.

[1] Імре Цісар: Метод типів. Угоди IEEE з інформаційної теорії (1998). http://dx.doi.org/10.1109/18.720546