Нерівності ймовірності

Я шукаю певні нерівності ймовірності для сум необмежених випадкових величин. Я був би дуже вдячний, якщо хтось може надати мені деякі думки.

Моя проблема полягає у знаходженні верхньої межі експоненції над ймовірністю того, що сума необмежених iid випадкових величин, які насправді є множенням двох iid Гауссана, перевищує деяке певне значення, тобто $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ , де $X = \sum_{i=1}^{N} w_iv_i$ , $w_i$ і $v_i$ породжується iid з $\mathcal{N}(0, \sigma)$ .

Я намагався використовувати пов'язаний Шернофф, використовуючи функцію генерування моменту (MGF), похідне обмеження задано:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

де є ФМГОМ з. Але пов'язана не така щільна. Основне питання в моїй проблемі полягає в тому, що випадкові змінні є безмежними, і, на жаль, я не можу використовувати межу нерівності Гоффдінга. $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ $X$

Я буду радий, якщо ви допоможете мені знайти якусь тугу експоненціальну межу.

— Фарзад
джерело

Звучить як проблема, пов’язана зі стислим зондуванням. Подивіться на замітки Р. Вершиніна щодо теорії неасимптотичної випадкової матриці, зокрема, меж того, що він називає субекспоненціальними випадковими змінними. З цього ви почнете. Якщо вам потрібно більше покажчиків, повідомте нас, і я спробую опублікувати ще трохи інформації.

— кардинал

На цю тему на math.SE є принаймні пара пов'язаних питань та відповідей (відмова від відповідальності: включаючи одну, в якій я брав участь).

— кардинал

Продукт

має як «нормальний продукт» розподіл. Я вважаю, середнє значення цього добутку дорівнює нулю, а дисперсія -

де

- дисперсія

. Для

largeish, ви можете використовувати центральну граничну теорему , щоб отримати приблизну norality з

. Якщо ви можете обчислити перекос нормального розподілу продукту, я вважаю, ви можете застосувати теорему Беррі-Ессена, щоб обмежити швидкість конвергенції CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

— шабчеф

@shabbychef, Беррі-есе має досить повільну збіжність, так як це рівномірна оцінку за класом всіх функцій розподілу

F

$F$

— кардинал

@DilipSarwate: Вибачте, що я щойно бачу ваш коментар з певного часу. Я думаю, що вас може зацікавити наступний маленький папір, який я декілька разів пов'язував на математиці.SE: TK Phillips та R. Nelson (1995). Між моментом жорсткіше, ніж Чернофф за позитивний хвіст ймовірності , Американський статистик , т. 42, вип. 2., 175-178.

— кардинал

Відповіді:

Використовуючи обмежений зв'язок Черноффа, ви запропонували деякий $s\le 1/(2\sigma^2)$ який буде вказано пізніше,

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$ where the second inequality holds thanks to

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$ for any

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$ , the right hand side becomes

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$ for any

ϵ \in (0, 1)

$\epsilon\in(0,1)$ .

Another avenue is to directly apply concentration inequalities such as the Hanson-Wright inequality, or concentration inequalities for Gaussian chaos of order 2 which encompasses the random variable you are interested in.

Simpler approach without using the moment generating function

Take $\sigma=1$ for simplicity (otherwise, one may rescale by dividing by $\sigma^2$ ).

Write $v=(v_1,...,v_n)^T$ and $w=(w_1,...,w_n)^T$ . You are asking for upper bounds on $P(v^Tw>\epsilon N)$ .

Let $Z= w^T v/\|v\|$ . Then $Z\sim N(0,1)$ by independence of $v,w$ and $\|v\|^2$ is independent of $Z$ with the $\chi^2$ distribution with $n$ degrees-of-freedom.

By standard bounds on standard normal and $\chi^2$ random variables,

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$ Combining with the union bound gives an upper bound on

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$ of the form

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$ .

— jlewk
джерело

The bound you obtain is of order $e^{-\epsilon}$ as $\epsilon \to \infty$ . I don't think you can do much better for general $\epsilon$ . From the Wikipedia page on Product Variables the distribution of $w_i v_i$ is $K_0(z)/\pi$ where $K_0$ is a modified Bessel function. From (10.25.3) in the DLMF function list, $K_0(t) \sim e^{-t}/\sqrt{t}$ so that for $x$ sufficiently large $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$ which is not going to give you a sub-Gaussian bound.

— BookYourLuck
джерело