Сума продуктів випадкових змінних Rademacher

Нехай - незалежні випадкові величини, що приймають значення або з вірогідністю 0,5 кожна. Розглянемо суму . Я бажаю на верхній межі ймовірності . Найкраща межа, яку я маю зараз, - це де c - універсальна константа. Це досягається нижчим обмеженням ймовірності Pr (| x_1 + \ крапки + x_n | <\ sqrt {t}) та Pr (| y_1 + \ крапки + y_n | <\ sqrt {t}) шляхом застосування простих меж Черноффа. Чи можу я сподіватися отримати щось, що значно краще, ніж це пов'язане? Для початку я можу принаймні отримати$x_1 \ldots x_a,y_1 \ldots y_b$$+1$$-1$$S = \sum_{i,j} x_i\times y_j$$P(|S| > t)$$2e^{-\frac{ct}{\max(a,b)}}$$c$$Pr(|x_1 + \dots + x_n|<\sqrt{t})$$Pr(|y_1 + \dots + y_n|<\sqrt{t})$$e^{-c\frac{t}{\sqrt{ab}}}$ . Якщо я можу отримати субгаусські хвости, які, мабуть, були б найкращими, але чи можна це очікувати (я не думаю, але не можу придумати аргумент)?

Алгебраїчне відношення

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

виставляє як добуток двох незалежних сум. Оскільки і є незалежними змінними Бернуллі , є двочленною змінною, яка був подвоєний і зміщений. Тому його середнє значення дорівнює а його дисперсія - . Аналогічно має середнє значення і дисперсію . Давайте їх стандартизуємо зараз, визначивши$S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$$a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

звідки

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

До високої (і кількісно) ступеня точності, оскільки зростає великий наближається до стандартного нормального розподілу. Тому наблизимо як добуток двох стандартних нормалей.$a$$X_a$$S$$\sqrt{ab}$

Наступний крок - це помітити

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

кратно різниці квадратів незалежних стандартних нормальних величин і . Розподіл можна обчислити аналітично (шляхом інвертування характерної функції ): його pdf пропорційний функції Бесселя порядку нуля, . Оскільки ця функція має експоненціальні хвости, ми відразу робимо висновок, що для великих і та фіксованих немає кращого наближення до ніж зазначено у питанні.$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

Існує деякий простір для вдосконалення, коли один (принаймні) з і не великий або в точках у хвості близьких до . Прямі обчислення розподілу показують викривлене звуження вірогідності хвоста у точках, значно більших, ніж , приблизно за . Ці лінійно-лінійні графіки CDF для різних значень (наведені у заголовках) та (приблизно в межах тих же значень, що й , виділених кольором у кожному графіку) показують, що відбувається. Для довідки графік граничного$a$$b$$S$$\pm a b$$S$$\sqrt{ab}$$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$розподіл показано чорним кольором. (Оскільки симетричний навколо , , тому достатньо подивитися на негативний хвіст.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

Зі збільшенням CDF стає ближче до еталонної лінії.$b$

Характеризація та кількісна оцінка цієї кривизни вимагає більш тонкого аналізу нормального наближення до біноміальних змінних.

Якість наближення функції Бесселя стає чіткішою в цих збільшених частинах (правого верхнього кута кожної ділянки). Ми вже досить далеко у хвости. Хоча логарифмічна вертикальна шкала може приховати суттєві відмінності, очевидно, до того часу, коли досягне наближення добре для .$a$$500$$|S| \lt a\sqrt{b}$

---

R код для обчислення розподілу$S$

Далі буде потрібно кілька секунд, щоб виконати. (Він обчислює кілька мільйонів ймовірностей для 36 комбінацій і .) На повільніших машинах опустіть більше одного або двох значень та і збільшуйте нижню межу побудови графіку від до приблизно .$a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Коментар: Я відредагував заголовок, намагаючись краще відобразити, який тип резюме розглядається у питанні. Будь-хто сміється повторно редагувати.

Мотивація: Гадаю, немає необхідності встановлювати верхню межу, якщо ми можемо отримати розподіл. ( ОНОВЛЕННЯ : Ми не можемо побачити коментарі та відповіді Вюбера).$|S_{ab}|$

Позначимо . Неважко перевірити, що 'мають однаковий розподіл, як ' і '. Функція генерування моменту є$Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Більше того, 'є для початку парно незалежними: змінна (індекси можуть бути будь-якими звичайно), має підтримку з відповідними ймовірностями . Його функція генерування моменту є$Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

Я спробую підозрювати, що повна незалежність дотримується наступного (чи це очевидно для мудріших?): Для цієї частини . Тоді за ланцюговим правилом $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

За парною незалежністю ми маємо . Розглянемо . і є незалежними умовними тому у нас друга рівність за парною незалежністю. Але це означає, що це$P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

Etc (я думаю). ( ОНОВЛЕННЯ : Я думаю, що неправильно . Незалежність, мабуть, стосується будь-якої трійки, але не для всієї групи. Отже, що далі - це лише виведення розподілу простої випадкової прогулянки, а не правильна відповідь на питання - див. Wolfies 'і Відповіді Вюбера).

Якщо дійсна повна незалежність, ми маємо завдання вивести розподіл суми iid дихотомічного rv

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

що схоже на просту випадкову прогулянку , хоча без чіткого трактування останньої як послідовності.

Якщо підтримка буде парними цілими числами в включаючи нуль, тоді як якщо підтримка буде непарними цілими числами в , без нуля. $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

Ми розглядаємо випадок . Позначимо - число , яке приймає значення . Тоді підтримку можна записати . Для будь-якого , ми отримаємо унікальне значення для . Крім того, через симетричні ймовірності та незалежність (чи просто ?) Всі можливі спільні реалізації змінних є вірогідними. Отже, ми підраховуємо і знаходимо, що функція маси ймовірностей дорівнює,$ab=odd$
$m$$Z$$-1$$S$$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

Визначивши , і непарне число за побудовою, і типовий елемент опори , маємо$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Перехід до, оскільки якщо , розподіл симетричний навколо нуля, не розподіляючи ймовірнісну масу на нуль, і тому розподілотримується шляхом "складання" графіка щільності навколо вертикальної осі, по суті подвоєння ймовірностей для позитивних значень,$|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Тоді функція розподілу є

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Тому для будь-якого реального , , отримаємо необхідну ймовірність $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

Зауважте, що вказівка гарантує, що сума буде дорівнювати значенням, включеним у підтримку- Наприклад, якщо ми встановимо , все одно буду працювати до , оскільки це обмежено непарним, крім того, що це ціле число.$i=odd$$|S|$$t=10.5$$i$$9$

Не відповідь, а коментар до цікавої відповіді Алекоса, який занадто довгий, щоб вміститись у поле для коментарів.

Нехай є незалежними випадковими змінними Rademacher, і нехай є незалежними випадковими змінними Rademacher. Алекос зазначає, що:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

"… Виглядає як звичайна випадкова прогулянка ". Якби це була звичайна випадкова прогулянка, то розподіл було б симетричним "дзвониково-одномодовим" навколо 0.$S$

Щоб проілюструвати, що це не проста випадкова прогулянка, ось коротке порівняння Монте-Карло:

• трикутні точки: моделювання Монте-Карло pmf з задане і$S$$a = 5$$b = 7$
• круглі точки: моделювання в Монте-Карло простої випадкової прогулянки з кроків$n = 35$

Зрозуміло, що - не проста випадкова прогулянка; також зауважте, що S не розподіляється на всі парні (або непарні) цілі числа.$S$

Монте Карло

Ось код (в Mathematica ), який використовується для генерації єдиної ітерації суми , заданої і :$S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Тоді 500 000 таких шляхів, скажімо, коли і , можна генерувати за допомогою:$a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

Домен підтримки для цієї комбінації і є:$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}