Розуміння доказів леми, що використовується в нерівності Гоффдінга

Я вивчаю лекції Ларрі Вассермана щодо статистики, в яких основним текстом використовується Казелла та Бергер. Я працюю над його конспектом лекцій 2 і застряг у виведенні леми, що використовується в нерівності Геффдінга (с. 2-3). Я відтворюю доказ у примітках нижче, а після підтвердження я зазначу, де я застряг.

Лема

Припустимо, що і . Тоді . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Доказ

Оскільки , ми можемо записати як опуклу комбінацію і , а саме де . За опуклості функції маємо $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Візьміть очікування обох сторін і використовуйте факт $\mathbb{E}(X) = 0$ щоб отримати

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

де $u = t(b-a)$ , $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ та $\gamma = -a /(b-a)$ . Зауважимо, що $g(0) = g^{'}(0) = 0$ . Також $g^{''}(u) \le 1/4$ для всіх $u > 0$ .

За теоремою Тейлора є $\varepsilon \in (0, u)$ такий, що $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Отже, $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Я міг би дотримуватися доказів до

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ але я не можу зрозуміти, як вивести . $u, g(u), \gamma$

probability probability-inequalities

— Ананд
джерело

Цікаво, що максимальне значення - і таким чином результат є ефективно який виглядає занадто звично, щоб виникати з-за чистого збігу. Я підозрюю, що може бути інший, можливо, простіший спосіб отримати результат через імовірнісний аргумент.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Діліп Сарват

@DilipSarwate Моє розуміння полягає в тому, що максимальна дисперсія виникає для рівномірної випадкової величини . Дисперсія дорівнює . Чи можете ви пояснити, як ви отримали ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Ананд

Концентруючи масу на кінцевих точках ...

— Елвіс,

@DilipSarwate Я додав декілька коментарів у доказ, які можуть уточнити біт лійт, чому найгірший випадок - максимальна дисперсія.

— Елвіс

@DilipSarwate - Див лемму 1 і вправу 1 тут: terrytao.wordpress.com/2010/01/03 / ... . Здається, існує більш просте виведення, покладаючись на нерівність Дженсена та розширення Тейлора. Але подробиці цього мені незрозумілі. Можливо, хтось може це зрозуміти. (виведення від (9) до (10) та вправа 1)

— Лев

Я не впевнений, що я правильно зрозумів ваше запитання. Я спробую відповісти: спробуйте написати як функцію : this природно, як ви хочете пов'язати в .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

За допомогою досвіду ви дізнаєтесь, що краще вибрати його записати у формі . Тоді призводить до з . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

Це те, про що ви просили?

Редагувати: кілька коментарів до доказу

Перший трюк заслуговує уважного уваги: якщо - опукла функція, а - централізована випадкова величина, то де - дискретна змінна, визначена Отже, ви отримуєте, що є центральна змінна з підтримкою в яка має найбільшу дисперсію: Зауважте, що якщо ми встановимо ширину опори $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , це менше, ніж як каже Діліп у коментарях, це тому, що ; пов'язана досягається для . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Тепер перейдемо до нашої проблеми. Чому можна отримати зв'язану залежно лише від ? Інтуїтивно зрозуміло, що це лише питання зміни шкали : якщо у вас є зв'язаний для випадку , то загальна межа можна отримати, взявши . Тепер подумайте про набір централізованих змінних з підтримкою ширини 1: свободи не так багато, тому повинна існувати така пов'язана, як . Інший підхід полягає в тому, щоб сказати просто, що згідно з вищевказаною лемою про , то загальніше , що залежить лише від і $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : якщо ви виправите та , і нехай змінюється, є лише одна ступінь свободи, і , , . Отримуємо Вам просто потрібно знайти обв’язку, що включає лише . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Тепер ми переконані, що це можна зробити, це має бути набагато простіше! Вам не обов'язково думати , щоб почати с. Справа в тому, що ви повинні написати все як функцію і . Спочатку зауважте, що , , та . Тоді Зараз ми знаходимось у конкретному випадку ... I думаю, ти можеш закінчити. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Я сподіваюся, що я це трохи уточнив.

— Елвіс
джерело

ось саме те, що я шукав. Дуже дякую.

— Ананд

@Anand Я знаю, що важко дотримуватися порад, однак я думаю, що не слід починати з фокусування на технічних деталях, а намагатися розібратися, чому таке обмеження може існувати ... тоді доказ повинен з’явитися простішим. Я спробував показати вам, чому у другій частині додали сьогодні вранці (вам потрібно спати на таке питання - принаймні мені це потрібно). Я думаю, що жахливо, як подібні інтуїції не з'являються в більшості підручників ... навіть якщо ви отримаєте технічну частину, доки у вас немає ідей, все виглядає магічно. Дякую вам і CrossV, що надали мені можливість детально продумати це!

— Елвіс

Оце Так! +1 для редагування Дякую. Але як би не було добре, якби можна було отримати щось на зразок

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Діліп Сарват

@Elvis Дякуємо за поради та за те, що ви зайняли час, щоб написати інтуїтивну частину. Мені потрібно витратити трохи часу, щоб зрозуміти це!

— Ананд

@Elvis Займаючись інтуїцією, я хочу уточнити своє розуміння. Щоб отримати чіткіші межі, потрібні більш високі моменти. Марков використовує перший момент, Чебишев другий момент, а Гефдінг використовує мг. Це правильно? Якщо хтось може розширити та уточнити цю частину, було б чудово.

— Ананд