Аналіз кульок і Бенса в режимі : прогалини

Припустимо, ми кидаємо кульок у бункерів, де . Нехай - кількість кульок, що закінчуються в bin , - найважча бункер, - найлегший бункер, а - другий найважчий бін. Грубо кажучи, , і тому ми очікуємо для будь-яких двох фіксованих . Використовуючи зв'язок об'єднання, ми очікуємо ; імовірно, ми можемо отримати відповідну нижню межу, розглядаючи $m$ $n$ $m \gg n$ $X_i$ $i$ $X_\max$ $X_\min$ $X_{\mathrm{sec-max}}$ $X_i - X_j \sim N(0,2m/n)$ $|X_i - X_j| = \Theta(\sqrt{m/n})$ $i,j$ $X_{\max} - X_{\min} = O(\sqrt{m\log n/n})$ $n/2$ пари нерозбірних бункерів. Цей (не повністю формальний) аргумент спонукає нас до того, що розрив між $X_{\max}$ і $X_{\min}$ є $\Theta(\sqrt{m\log n/n})$ з великою ймовірністю.

Мене цікавить розрив між $X_\max$ і $X_{\mathrm{sec-max}}$ . Викладений вище аргумент показує, що $X_\max - X_{\mathrm{sec-max}} = O(\sqrt{m\log n/n})$ з великою ймовірністю, але фактор $\sqrt{\log n}$ здається стороннім . Чи відомо щось про розподіл $X_\max - X_{\mathrm{sec-max}}$ ?

Більш загально, припустимо, що кожен м'яч асоціюється з негативним балом за кожну кошик, і нас цікавить загальний бал кожного бункера після кидання $m$ кульок. Звичайний сценарій відповідає балам форми $(0,\ldots,0,1,0,\ldots,0)$ . Припустимо, що розподіл ймовірності балів є інваріантним при перестановці бункерів (у звичайному сценарії це відповідає тому, що всі бункери є неправдоподібними). Враховуючи розподіл балів, ми можемо скористатися методом першого абзацу, щоб отримати хороший зв'язок з $X_{\max} - X_{\min}$ . Обмежений буде містити коефіцієнт $\sqrt{\log n}$ що походить від пов'язаного з'єднання (через хвостові ймовірності нормальної змінної). Чи можна зменшити цей фактор, якщо нас зацікавить обмеження $X_{\max} - X_{\mathrm{sec-max}}$ ?

reference-request pr.probability

— Юваль Фільм
джерело

Кожна оцінка в [0,1]?

— Ніл Янг

Це насправді не має значення, ви завжди можете його масштабувати так, щоб він був у

[0, 1]

$[0,1]$ .

— Yuval Filmus

Відповіді:

Відповідь: $\Theta\left(\sqrt{\frac{m}{n\log n}}\right)$ .

Застосовуючи багатовимірну версію теореми про центральний межа, ми отримуємо, що вектор має асимптотично багатоваріантний гауссовий розподіл з і Нижче будемо вважати, що - гауссовий вектор (і не тільки приблизно гауссовий вектор). Давайте додамо Gaussian випадкову змінну з дисперсією для всіх ( не залежить від усіх ). Тобто нехай $(X_1,\dots, X_n)$

V a r [X_{i}] = m (\frac{1}{n} - \frac{1}{n^{2}}),

$\mathrm{Var}[X_i] = m\left(\frac{1}{n} - \frac{1}{n^2}\right),$

C o v (X_{i}, X_{j}) = - m / n^{2} .

$\mathrm{Cov}(X_i, X_j) = -m/n^2.$

X

$X$

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

Z

$Z$

X_{i}

$X_i$

(\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}) = (\begin{matrix} X_{1} + Z \\ X_{2} + Z \\ ⋮ \\ X_{n} + Z \end{matrix}) .

$\begin{pmatrix} Y_1\\Y_2\\ \vdots\\Y_n \end{pmatrix} = \begin{pmatrix} X_1+Z\\X_2+Z\\ \vdots\\X_n +Z \end{pmatrix}.$ вектор Гаусса . Тепер кожен має дисперсію : і всі незалежні:

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

V a r [Y_{i}] = V a r [X_{i}] + \underset{= 0}{\underset{⏟}{2 C o v (X_{i}, Z)}} + V a r [Z] = m / n,

$\mathrm{Var}[Y_i] = \mathrm{Var}[X_i] + \underbrace{2\mathrm{Cov}(X_i,Z)}_{=\, 0}+\mathrm{Var}[Z] = m/n,$

Y_{i}

$Y_i$

C o v (Y_{i}, Y_{j}) = C o v (X_{i}, X_{j}) + \underset{= 0}{\underset{⏟}{C o v (X_{i}, Z) + C o v (X_{j}, Z)}} + C o v (Z, Z) = 0.

$\mathrm{Cov}(Y_i, Y_j) = \mathrm{Cov}(X_i, X_j) + \underbrace{\mathrm{Cov}(X_i,Z) + \mathrm{Cov}(X_j,Z)}_{=\, 0} +\mathrm{Cov}(Z, Z) = 0.$

Зауважимо, що . Таким чином, наша оригінальна задача еквівалентна проблемі пошуку . Давайте спочатку для простоти проаналізуємо випадок, коли всі мають відхилення . $Y_i - Y_j = X_i - X_j$ $Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}$ $Y_i$ $1$

Проблема. Нам задано незалежних гауссових rv із середнім та дисперсією . Оцініть очікування . $n$ $\gamma_1,\dots, \gamma_n$ $\mu$ $1$ $\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}$

Відповідь: . $\Theta\left(\frac{1}{\sqrt{\log n}}\right)$

Неформальне підтвердження. Ось неформальне рішення цієї проблеми (не важко зробити це формальним). Оскільки відповідь не залежить від середнього значення, вважаємо, що . Нехай , де . У нас є (для помірно великих ), $\mu = 0$ $\bar\Phi(t) = \Pr[\gamma > t]$ $\gamma\sim{\cal N}(0,1)$ $t$

\bar{Φ} (t) \approx \frac{1}{\sqrt{2 π} t} e^{- \frac{1}{2} t^{2}} .

$\bar\Phi(t)\approx \frac{1}{\sqrt{2\pi}t} e^{-\frac{1}{2}t^2}.$

Зауважте, що

$\Phi(\gamma_i)$ рівномірно та незалежно розподілені на , $[0,1]$
$\Phi(\gamma_{\mathrm{max}})$ найменший серед , $\Phi(\gamma_i)$
$\Phi(\gamma_{\mathrm{sec-max})}$ є другим найменшим серед . $\Phi(\gamma_i)$

Таким чином, близький до і близький до (концентрації немає, але якщо ми не будемо ' t дбаючи про константи, ці оцінки досить хороші; насправді вони навіть дуже хороші, якщо ми дбаємо про константи - але для цього потрібне обґрунтування). Використовуючи формулу для , отримуємо, що $\Phi(\gamma_{\mathrm{max}})$ $1/n$ $\Phi(\gamma_{\mathrm{max}})$ $2/n$ $\bar\Phi(t)$

2 \approx \bar{Φ} (γ_{s e c - m a x}) / \bar{Φ} (γ_{m a x}) \approx e^{\frac{1}{2} (γ_{m a x}^{2} - γ_{s e c - m a x}^{2})} .

$2\approx \bar\Phi(\gamma_{\mathrm{sec-max}})\left/\bar\Phi(\gamma_{\mathrm{max}})\right. \approx e^{\frac{1}{2}\left(\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2\right)}.$

Таким чином, є whp Зверніть увагу, що . У нас є $\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2$ $\Theta(1)$ $\gamma_{\mathrm{max}}\approx \gamma_{\mathrm{sec-max}} = \Theta(\sqrt{\log n})$

γ_{m a x} - γ_{s e c - m a x} \approx \frac{Θ (1)}{γ_{m a x} + γ_{s e c - m a x}} \approx \frac{Θ (1)}{\sqrt{\log n}} .

$\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}\approx \frac{\Theta(1)}{\gamma_{\mathrm{max}} + \gamma_{\mathrm{sec-max}}} \approx \frac{\Theta(1)}{\sqrt{\log n}}.$

QED

Ми отримуємо це

\begin{aligned} E [X_{m a x} - X_{s e c - m a x}] & = E [Y_{m a x} - Y_{s e c - m a x}] \\ = \sqrt{V a r [Y_{i}]} \times E [γ_{m a x} - γ_{s e c - m a x}] = Θ (\sqrt{\frac{m}{n \log n}}) . \end{aligned}

$\begin{align} \mathbb{E}[{X_{\mathrm{max}} - X_{\mathrm{sec-max}}}] &= \mathbb{E}[{Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}}] \\ &= \sqrt{\mathrm{Var}[Y_i]} \times\mathbb{E}[{\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}}] = \Theta\left(\sqrt{\frac{m}{n\log n}}\right). \end{align}$

Той самий аргумент проходить і тоді, коли ми маємо довільні оцінки. З нього видно, що
$E [X_{m a x} - X_{s e c - m a x}] = c E [X_{m a x} - X_{m i n}] / \log n .$ $\mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{sec-max}}] = c\, \left. \mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{min}}]\right/\log n.$

— Юрій
джерело

Спасибі! Я згадаю, щоб спробувати спробувати багатоваріантне наближення Гаусса наступного разу.

— Yuval Filmus

Юрій, ви писали: "Додамо до всіх гауссовий вектор з дисперсією Ми отримаємо вектор Гаусса . Тепер кожен має дисперсію і всі не співвіднесені ... Зауважте, що . " Чи можете ви розширити цю частину? Є ? Якщо залежності залежать, а незалежні (або однаково однакові), то як можуть бути незалежними? (Здається, це акуратний трюк, але я цього не розумію.) Дякую.

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

Y_{i}

$Y_i$

Y_{i} - Y_{j} = X_{i} - X_{j}

$Y_i - Y_j = X_i - X_j$

Z_{i} = Z_{j}

$Z_i = Z_j$

X_{i}

$X_i$

Z_{i}

$Z_i$

Y_{i}

$Y_i$

— Ніл Янг

@NealYoung, так, якщо у нас є змінні з негативною кореляцією парної і все ковариации є рівним , то ми можемо додати єдиний новий випадкову величину для всіх таким чином, що суми незалежні. Крім того, якщо змінні мають позитивну кореляцію і знову всі коваріації рівні, то ми можемо віднімати один rv з усіх них, так що всі відмінності незалежні; але тепер не залежить від а

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

X_{i}

$X_i$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

Z

$Z$

X_{i}

$X_i$

Z = α (X_{1} + \dots + X_{n})

$Z=\alpha (X_1 + \dots+X_n)$ для деякого параметра масштабування .

α

$\alpha$

— Юрій

А, бачу. принаймні алгебраїчно, все, на чому спирається, є попарна незалежність Z і кожного . дуже круто.

X_{i}

$X_i$

— Суреш Венкат

Цей аргумент тепер з’являється (з атрибуцією) у документі EC'14: dl.acm.org/citation.cfm?id=2602829 .

— Yuval Filmus

Для вашого першого питання, я думаю, ви можете показати, що whp є Зауважте, що це . $X_{\max}-X_{\textrm{sec-max}}$

o (\sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}}) .

$o\left(\sqrt{\frac{m}{n}\frac{\log^2\log n}{\log n}}\right).$

o (\sqrt{m / n})

$o(\sqrt{m/n})$

Порівняйте свій випадковий експеримент із наступною альтернативою: нехай є максимальним завантаженням будь-якого з перших відер. Нехай - максимальне навантаження будь-якого з останніх відер. $X_1$ $n/2$ $X_2$ $n/2$

На розгляд,є верхньою межею на . Також, з вірогідністю щонайменше половини, . Отже, кажучи приблизно, розподіляється аналогічно. $|X_1-X_2|$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2| = X_{\max}-X_{\mathrm{sec-max}}$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2|$

Для вивченняЗверніть увагу, що з великою часткою ймовірності кулі кидаються в перші бункери, а також в останні бункери. Отже, і розподіляються по суті, як максимальне навантаження при киданні кульок у бункери. $|X_1-X_2|$ $m/2\pm O(\sqrt m)$ $n/2$ $n/2$ $X_1$ $X_2$ $m' = m/2\pm o(m)$ $n' = n/2$

Цей розподіл добре вивчений і, на щастя для цього аргументу, щільно зосереджений навколо його середнього значення. Наприклад, якщо , то з великою часткою ймовірності відрізняється від свого очікування щонайбільше кількістю, відображеною вгорі цієї відповіді [ Thm. 1 ]. (Зауважте: ця верхня межа, я думаю, нещільна, з огляду на відповідь Юрія.) Таким чином, з великою часткою ймовірності і також відрізняються щонайбільше на це значно, і тому і відрізняються щонайбільше на це. $m' \gg n\log^3 n$ $X_1$ $X_1$ $X_2$ $X_{\max}$ $X_{\mathrm{max-sec}}$

І навпаки, для (дещо слабкішої) нижньої межі, якщо для будь-якого , скажімо, , тоді принаймні який (по наївному зв’язку) становить щонайменше Я думаю, що це повинно дати вам (наприклад) очікування в межах постійного коефіцієнта. $t$ $\Pr[|X_1-X_2| \ge t] \ge 3/4$ $\Pr[X_{\max}-X_{\textrm{sec-max}} \ge t]$

Pr [| X_{1} - X_{2} | \geq t \land X_{max} - X_{sec-max} = | X_{1} - X_{2} |]

$\Pr\big[|X_1-X_2| \ge t ~\wedge~ X_{\max}-X_{\textrm{sec-max}} = |X_1-X_2|\big]$

1 - (1 / 4) - (1 / 2) = 1 / 4.

$1 - (1/4) - (1/2) = 1/4.$

X_{max} - X_{sec-max}

$X_{\max}-X_{\textrm{sec-max}}$

— Ніл Янг
джерело

Дивлячись на Thm. 1, різниця від очікування - , а не те, що ви написали. Це все ще набагато краще, ніж .

O (\sqrt{(m / n) \log \log n})

$O(\sqrt{(m/n) \log \log n})$

O (\sqrt{(m / n) \log n})

$O(\sqrt{(m/n) \log n})$

— Yuval Filmus

За Thm. 1 (його 3-й випадок), для будь-якого , з ймовірністю , максимум у будь-якому відрізку (m кульок у n бункерах) становить За моєю математикою (використовуючи ), термін розширюється до додаткового абсолютного доданкуЩо я роблю неправильно?

ϵ > 0

$\epsilon>0$

1 - o (1)

$1-o(1)$

\frac{m}{n} + \sqrt{\frac{2 m \log n}{n}} \sqrt{1 - (1 \pm ϵ) \frac{\log \log n}{2 \log n}} .

$\frac{m}{n} +\sqrt{\frac{2m\log n}{n}}\sqrt{1-(1\pm\epsilon) \frac{\log\log n}{2\log n}}.$

\sqrt{1 - δ} = 1 - O (δ)

$\sqrt{1-\delta} = 1 - O(\delta)$

\pm ϵ

$\pm\epsilon$

O (ϵ) \sqrt{\frac{m \log n}{n}} \frac{\log \log n}{\log n} = O (ϵ) \sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}} .

$O(\epsilon) \sqrt{\frac{m\log n}{n}}~\frac{\log\log n}{\log n} ~=~O(\epsilon) \sqrt{\frac{m}{n}~\frac{\log^2\log n}{\log n}}.$

— Ніл Янг

Ага - гадаю, ти маєш рацію. Я відніс всередину квадратного кореня і ось так я отримав свою фігуру.

— Yuval Filmus