Межі на

Якщо $f$ - опукла функція, то нерівність Дженсена визначає, що $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ , а mutatis mutandis, коли $f$ увігнута. Очевидно, що в гіршому випадку ви не можете встановити верхню межу $\textbf{E}[f(x)]$ з точки зору $f(\textbf{E}[x])$ для опуклого $f$ , але чи існує межа, яка йде в цьому напрямку, якщо $f$ є опуклим, але "не надто опуклим"? Чи є якась стандартна межа, яка дає умови для опуклої функції $f$ (і, можливо, і розподілу, якщо це необхідно), що дозволить зробити висновок, що $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ , де $\varphi(f)$ - деяка функція кривизни / ступеня опуклості $f$ ? Щось схоже на стан Ліпшиця, можливо?

randomness pr.probability randomized-algorithms

— Ян
джерело

Голосування закрити як поза темою. math.stackexchange.com можливо?

— Ар'ябхата

Я думаю, що це питання має залишатися відкритим; це така нерівність, яку багато працюючих теоретиків вважають корисними регулярно.

— Аарон Рот

Я знаю, що це ближче до чистої математики, ніж більшість питань, розміщених до цих пір, але я б стверджував, що це актуально, оскільки подібні речі часто трапляються при аналізі рандомізованих алгоритмів (що є у мене в застосуванні розум). Я думаю, що математику, яка широко використовується в інформатиці, слід вважати чесною грою на питання.

— Ян

голосувати за те, щоб залишатись відкритими. напевно на тему

— Суреш Венкат

Я також голосую за те, щоб залишатися відкритими.

— Jeffε

Відповіді:

EDIT: в оригінальній версії пропущено абсолютне значення. вибачте !!

Привіт, Іне. Я коротко охарактеризую дві вибіркові нерівності: одна використовує ліпшицьку зв'язану, інша з використанням пов'язаної на другій похідній, а потім обговорюю деякі труднощі у цій проблемі. Хоча я є зайвим, оскільки підхід із використанням однієї похідної пояснює, що відбувається з більшою кількістю похідних (через Тейлора), виявляється, що друга версія похідних є досить приємною.

По-перше, з ліпшицьким зв’язком: просто переробіть стандартну нерівність Дженсена. Цей же трюк застосовується: обчислити розширення Тейлора за очікуваним значенням.

Зокрема, нехай має відповідну міру , а . Якщо має постійну Ліпшица , то за теоремою Тейлора $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

де (зауважте, що і можливі). Використовуючи це і переробляючи доказ Дженсена (я параноїк і перевірив, що стандартний дійсно є у Вікіпедії), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Тепер припустимо . В цьому випадку, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

і так

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Я хотів би коротко згадати кілька речей. Вибачте, якщо вони очевидні.

Одне полягає в тому, що ви не можете просто сказати "wlog ", змістивши розподіл, оскільки ви змінюєте співвідношення між і . $\operatorname{E}(X) = 0$ $f$ $\mu$

Далі, що пов'язане має певним чином залежати від розподілу. Щоб побачити це, уявіть, що і . Яким би не було значення , ви все одно отримаєте . З іншого боку, $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ . Таким чином, змінивши , ви можете зробити проміжок між двома величинами довільним! Інтуїтивно більшу масу відштовхують від середнього значення, і, таким чином, для будь-якої строго опуклої функції зросте. $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Нарешті, я не бачу, як отримати мультиплікативну межу, як ви пропонуєте. Все, що я використовував у цій публікації, є стандартним: теорема Тейлора та похідні межі - це хліб та масло в межах статистики, і вони автоматично дають додаткові, а не мультиплікативні помилки.

Я подумаю про це, хоча і опублікую щось. Неясна інтуїція полягає в тому, що їй потрібні дуже жорсткі умови як функціонування, так і розподілу, і те, що пов'язана з добавкою реально лежить в основі її.

— матус
джерело

Щоразу, коли я редагую, відповідь натрапляє. Тож я зазначу: друга прив’язка похідних є тісною для прикладу, який я дав.

— матус

Я думаю, що ти маєш рацію в тому, що границі адитивів є найкращими без особливо сильних умов функціонування.

— Ян

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian: Докази нерівностей Чорноффа та Азума-Гоффдінга використовують аргументи, що нагадують про це, тож ви можете прочитати їх для натхнення. Див., Наприклад, книгу Міценмахера та Упфала про рандомізацію в обчислювальній техніці.

— Воррен Шуді

Для ознайомлення розглянемо розподіл, зосереджений на двох значеннях; скажімо, з однаковою ймовірністю 1/2, що вона дорівнює 1 або 3, звідки $\textbf{E}[x] = 2$ . Брати $N >> 0$ і $\epsilon > 0$ . Розглянемо функції $f$ для котрого $f(1) = f(3)= N\epsilon$ and $f(\textbf{E}[x]) = f(2) = \epsilon$ . By making $\epsilon$ sufficiently small and connecting $f$ continuously among these three points we can make the curvature of $f$ as small as desired. Then

$\textbf{E}[f(x)] = N\epsilon$ , yet

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

This shows $\varphi(f)$ must be arbitrarily large.

— whuber
джерело