Сума незалежних експоненціальних випадкових величин

Чи можемо ми довести результат різкої концентрації на суму незалежних експоненціальних випадкових величин, тобто нехай є незалежними випадковими змінними, такими, що . Нехай . Чи можемо ми довести межі форми . Це безпосередньо випливає, якщо ми використовуємо дисперсійну форму меж чернофф, і, отже, я вважаю, що це правда, але межі, які я читаю, потребують обмеженості чи мають певну залежність від обмеженості на змінних. Чи може хтось вказати на мене на доказ сказаного? $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— NAg
джерело

просто слідкуйте за доказом чернофф: легко зв'язати експоненціальний момент експоненціальних випадкових величин.

— Сашо Ніколов

Я намагався повторити доказ чорнофу. Я зробив це для більш простого випадку, коли всі . Я можу отримати таке відношення, яке шукаю при легкому стані . Чи виникає такий стан природним шляхом чи це пов'язано з не таким хорошим рішенням?

λ_{i} = λ

$\lambda_i = \lambda$

t < n λ

$t < n\lambda$

— NAg

Перевірити Lemma 2.8 тут eprint.iacr.org/2010/076.pdf

— Ніколов

Так, це має сенс. Навіть в їх лемме вони мають умова на

t

$t$ бути досить малий. Добре, тоді моє рішення здається правильним. Велике спасибі за посилання та пропозицію.

— NAg

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

Відповіді:

Для конкретності скажіть, що pdf rv є $X_i$

p (Х_{i} = х) = \frac{1}{2} λ_{i} е^{- λ_{i} | х |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

Це розподіл Лапласа, або подвійне експоненціальне розподіл. Його дисперсія - . Cdf є $\frac{2}{\lambda_i^2}$

Пр [Х_{i} \leq х] = 1 - \frac{1}{2} е^{- λ_{i} х}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ для .

x \geq 0

$x \geq 0$

Функція породження моменту є $X_i$

Е е^{у Х_{i}} = \frac{1}{1 - у^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ для . Використовуючи цей факт та метод експоненціального моменту, який є стандартним у доказуванні меж Черноффа, ви отримуєте, що для та , виконується наступна нерівність

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Пр [Х > т σ] < е^{- т^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ поки . Докладне виведення можна знайти у доказі леми 2.8 цієї статті .

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— Сашо Ніколов
джерело

Дякую за відповідь. Однак у моїй заяві не обов'язково вірно, що . Однак можна очікувати ще сильнішої концентрації у випадку . Ми можемо отримати такий результат, якщо не будемо використовувати наближення яке обмежує діапазон у доказі, але аналіз цього стає некерованим у випадку різних . Будь-які пропозиції на цьому фронті?

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NAg

це буде деяким енергійним маханням рукою, але я очікую, що такі великі значення , швидше за все, трапляться, коли лише невелика кількість перевищує медіанубагато. але подвійні експоненціальні змінні мають більш важкий хвіст, ніж гауссі, і невелика кількість з них не може на цьому зосередитися

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Сашо Ніколов

Я розумію, що написане вище не зрозуміло: я очікую, що вихід у хвіст виглядає як хвіст іншого rv що є сумою невеликої кількості подвійних експоненціальних rv. Хвіст такого не повинен бути субгаусський.

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Сашо Ніколов

Для розповсюдження Лапласа, якщо ви використовуєте прив'язку Бернуллі, можете писати

Е е^{у \sum_{i} Х_{i}} = \prod_{i} \frac{1}{1 - у^{2} / λ_{i}^{2}} \leq \frac{1}{1 - у^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ де

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Пр [\sum_{i} Х_{i} \geq т σ] \leq \frac{1 + \sqrt{1 + 2 т^{2}}}{2} е^{1 - \sqrt{1 + 2 т^{2}}} \leq {\begin{cases} (е т / \sqrt{2} + 1) е^{- \sqrt{2} т} \\ е^{- т^{2} / 2 + т^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

$t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

$1-\sqrt{1+2t^2}$ $t$ $t$

$Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Пр [(\sum_{i} Х_{i}) - мк \geq т мк] \leq (т + 1) е^{- т} \leq е^{- т^{2} / 2 + т^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— Томас Ейле
джерело

У мене немає часу на розробку деталей, але я на 99,9% впевнений, що можна отримати обмеження для експоненціально розподілених випадкових величин, яке залежить від дисперсії. Ваша обмежена функція генерування моменту виглядає надмірно розпущеною.

— Warren Schudy

@Warren Schudy, яким би був твій підхід?

— Thomas Ahle

Я бачу два очевидні підходи: 1. Другий рубіж, перелічений на en.wikipedia.org/wiki/…, схоже, повинен працювати. 2. Знайдіть більш чітку межу функції, що генерує момент.

— Воррен Шуді

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

Межі в гауссовому стилі неминуче зупиняться в якийсь момент. Навіть одна експоненціально розподілена випадкова величина зрештою має жирніші хвости, ніж будь-яка гауссова.

— Воррен Шуді