Розуміння вимірюють нерівності концентрації

В дусі цього питання Розуміючи докази леми, що використовується в нерівності Геффдінга , я намагаюся зрозуміти кроки, які призводять до нерівності Геффдінга.

Найбільш загадковою для мене є доказ - це частина, де обчислюються експоненціальні моменти для сукупності змінних iid, після яких застосовується нерівність Маркова.

Моя мета полягає в тому, щоб зрозуміти: Чому цей прийом дає жорстку нерівність, і чи це найсильніша ми можемо досягти? Типове пояснення стосується моментів, що генерують властивості експонента. Але я вважаю це занадто розпливчастим.

Публікація в блозі Тао, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , може дати відповіді.

Маючи на увазі цю мету, моє запитання стосується трьох пунктів у посту Дао, про які я застряг, і які, сподіваюся, зможуть дати зрозуміти, як тільки буде пояснено.

Дао отримує таку нерівність, використовуючи k-й момент Якщо це справедливо для будь-якого k, він робить висновок експоненціальної межі. Тут я загубився.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ . Чому розширення може бути обмежене цим квадратичним членом? і як слідує рівняння 10?
${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Будь-які подальші інтуїції \ пояснення щодо доказу нерівності або причини, з якої ми не можемо отримати більш жорстку межу, безумовно, вітаються.

probability probability-inequalities

— Лев
джерело

Чи читали ви оригінальний папір Гоффдінга?

— Алекос Пападопулос

@AlecosPapadopoulos Я насправді цього не зробив. Мені здається, що виведення там складається з алгебраїчних етапів, як правило, викладаються на математичних курсах, не вистачаючи пояснень, які я шукаю. Ви можете сказати інакше?

— Лев

Я пропоную вам прочитати його. Стабільний URL в jstor - jstor.org/stable/2282952 . Те, що «вам найбільше таємниче», - це теореми 1, 2 та 3 статті, докази яких є у розділі 4 статті (а не в кінці), і вони мені виглядають досить чітко. Я не знаю, чи шукаєте ви якусь "нематематичну" інтуїцію - якщо так, вона не завжди існує.

— Алекос Пападопулос

$\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— гмраві2003
джерело

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

Я не розглядав це, але підозрюю, що експоненція користується певними властивостями, включаючи ті, кого ви назвали, які є критичними: всі коефіцієнти повинні бути суворо позитивними, і зручно, що вона конвергується абсолютно скрізь. Але я вважаю, що є більш глибокі причини, чому ця функція є важливою, пов'язаною з властивостями перетворень Фур'є та Лапласа. Це може бути ілюмінацією, щоб вивчити похідні нерівності міри, щоб побачити, які властивості експоненції насправді використовуються! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Мені хотілося б зацікавити вас питанням про обмеженість цієї межі: stats.stackexchange.com/questions/77019/…

— Лев