Аналіз кульок і Бенса в режимі : прогалини


23

Припустимо, ми кидаємо кульок у бункерів, де . Нехай - кількість кульок, що закінчуються в bin , - найважча бункер, X_ \ min - найлегший бункер, а X _ {\ mathrm {sec-max}} - другий найважчий бін. Грубо кажучи, X_i - X_j \ sim N (0,2m / n) , і тому ми очікуємо | X_i - X_j | = \ Theta (\ sqrt {m / n}) для будь-яких двох фіксованих i, j . Використовуючи зв'язок об'єднання, ми очікуємо X _ {\ max} - X _ {\ min} = O (\ sqrt {m \ log n / n}) ; імовірно, ми можемо отримати відповідну нижню межу, розглядаючи n / 2mnmnXiiXmaxXminXsecmaxXiXjN(0,2m/n)|XiXj|=Θ(m/n) i,jXmaxXmin=O(mlogn/n)n/2пари нерозбірних бункерів. Цей (не повністю формальний) аргумент спонукає нас до того, що розрив між Xmax і Xmin є Θ(mlogn/n) з великою ймовірністю.

Мене цікавить розрив між Xmax і Xsecmax . Викладений вище аргумент показує, що XmaxXsecmax=O(mlogn/n) з великою ймовірністю, але фактор logn здається стороннім . Чи відомо щось про розподіл XmaxXsecmax ?

Більш загально, припустимо, що кожен м'яч асоціюється з негативним балом за кожну кошик, і нас цікавить загальний бал кожного бункера після кидання m кульок. Звичайний сценарій відповідає балам форми (0,,0,1,0,,0) . Припустимо, що розподіл ймовірності балів є інваріантним при перестановці бункерів (у звичайному сценарії це відповідає тому, що всі бункери є неправдоподібними). Враховуючи розподіл балів, ми можемо скористатися методом першого абзацу, щоб отримати хороший зв'язок з XmaxXmin . Обмежений буде містити коефіцієнт lognщо походить від пов'язаного з'єднання (через хвостові ймовірності нормальної змінної). Чи можна зменшити цей фактор, якщо нас зацікавить обмеження XmaxXsecmax ?


Кожна оцінка в [0,1]?
Ніл Янг

Це насправді не має значення, ви завжди можете його масштабувати так, щоб він був у [0,1] .
Yuval Filmus

Відповіді:


21

Відповідь: Θ(mnlogn) .

Застосовуючи багатовимірну версію теореми про центральний межа, ми отримуємо, що вектор має асимптотично багатоваріантний гауссовий розподіл з і Нижче будемо вважати, що - гауссовий вектор (і не тільки приблизно гауссовий вектор). Давайте додамо Gaussian випадкову змінну з дисперсією для всіх ( не залежить від усіх ). Тобто нехай V a r [ X i ] = m ( 1(X1,,Xn)Cov(Xi,Xj)=-m/n2. XZm/n2XiZXi( Y 1 Y 2 Y n )=( X 1 +Z X 2 +Z X n +Z). (Y1

Var[Xi]=m(1n1n2),
Cov(Xi,Xj)=m/n2.
X Zm/n2XiZXi
(Y1Y2Yn)=(X1+ZX2+ZXn+Z).
вектор Гаусса . Тепер кожен має дисперсію : і всі незалежні: Y i m / n V a r [ Y i ] = V a r [ X i ] + 2 C o v ( X i , Z ) =(Y1,,Yn)Yim/nYiCov(Yi,Yj)=Cov(Xi,Xj)+ C o v ( X i , Z ) + C o v ( X j , Z ) =
Var[Yi]=Var[Xi]+2Cov(Xi,Z)=0+Var[Z]=m/n,
Yi
Cov(Yi,Yj)=Cov(Xi,Xj)+Cov(Xi,Z)+Cov(Xj,Z)=0+Cov(Z,Z)=0.

Зауважимо, що . Таким чином, наша оригінальна задача еквівалентна проблемі пошуку . Давайте спочатку для простоти проаналізуємо випадок, коли всі мають відхилення .Y m a x - Y s e c - m a x Y i 1YiYj=XiXjYmaxYsecmaxYi1

Проблема. Нам задано незалежних гауссових rv із середнім та дисперсією . Оцініть очікування .γ 1 , , γ n μ 1 γ m a x - γ s e c - m a xnγ1,,γnμ1γmaxγsecmax

Відповідь: .Θ(1logn)

Неформальне підтвердження. Ось неформальне рішення цієї проблеми (не важко зробити це формальним). Оскільки відповідь не залежить від середнього значення, вважаємо, що . Нехай , де . У нас є (для помірно великих ), ˉ Φ ( t ) = Pr [ γ > t ] γ N ( 0 , 1 ) t ˉ Φ ( t ) 1μ=0Φ¯(t)=Pr[γ>t]γN(0,1)t

Φ¯(t)12πte12t2.

Зауважте, що

  • [ 0 , 1 ]Φ(γi) рівномірно та незалежно розподілені на ,[0,1]

  • Φ ( γ i )Φ(γmax) найменший серед ,Φ(γi)

  • Φ(γsecmax) є другим найменшим серед .Φ(γi)

Таким чином, близький до і близький до (концентрації немає, але якщо ми не будемо ' t дбаючи про константи, ці оцінки досить хороші; насправді вони навіть дуже хороші, якщо ми дбаємо про константи - але для цього потрібне обґрунтування). Використовуючи формулу для , отримуємо, що Φ(γmax)1/nΦ(γmax)2/nΦ¯(t)

2Φ¯(γsecmax)/Φ¯(γmax)e12(γmax2γsecmax2).

Таким чином, є whp Зверніть увагу, що . У нас є γmax2γsecmax2Θ(1)γmaxγsecmax=Θ(logn)

γmaxγsecmaxΘ(1)γmax+γsecmaxΘ(1)logn.

QED

Ми отримуємо це

E[XmaxXsecmax]=E[YmaxYsecmax]=Var[Yi]×E[γmaxγsecmax]=Θ(mnlogn).

Той самий аргумент проходить і тоді, коли ми маємо довільні оцінки. З нього видно, що

E[XmaxXsecmax]=cE[XmaxXmin]/logn.

2
Спасибі! Я згадаю, щоб спробувати спробувати багатоваріантне наближення Гаусса наступного разу.
Yuval Filmus

5
Юрій, ви писали: "Додамо до всіх гауссовий вектор з дисперсією Ми отримаємо вектор Гаусса . Тепер кожен має дисперсію і всі не співвіднесені ... Зауважте, що . " Чи можете ви розширити цю частину? Є ? Якщо залежності залежать, а незалежні (або однаково однакові), то як можуть бути незалежними? (Здається, це акуратний трюк, але я цього не розумію.) Дякую. Zm/n2Xi(Y1,,Yn)Yim/nYiYiYj=XiXjZi=ZjXiZiYi
Ніл Янг

1
@NealYoung, так, якщо у нас є змінні з негативною кореляцією парної і все ковариации є рівним , то ми можемо додати єдиний новий випадкову величину для всіх таким чином, що суми незалежні. Крім того, якщо змінні мають позитивну кореляцію і знову всі коваріації рівні, то ми можемо віднімати один rv з усіх них, так що всі відмінності незалежні; але тепер не залежить від аX1,,XnCov(Xi,Xj)ZXiCov(Xi,Xj)ZZXiZ=α(X1++Xn)для деякого параметра масштабування . α
Юрій

1
А, бачу. принаймні алгебраїчно, все, на чому спирається, є попарна незалежність Z і кожного . дуже круто. Xi
Суреш Венкат

1
Цей аргумент тепер з’являється (з атрибуцією) у документі EC'14: dl.acm.org/citation.cfm?id=2602829 .
Yuval Filmus

13

Для вашого першого питання, я думаю, ви можете показати, що whp є Зауважте, що це .XmaxXsec-max

o(mnlog2lognlogn).
o(m/n)

Порівняйте свій випадковий експеримент із наступною альтернативою: нехай є максимальним завантаженням будь-якого з перших відер. Нехай - максимальне навантаження будь-якого з останніх відер.X1n/2X2n/2

На розгляд,є верхньою межею на . Також, з вірогідністю щонайменше половини, . Отже, кажучи приблизно, розподіляється аналогічно.|X1X2|XmaxXsecmax|X1X2|=XmaxXsecmaxXmaxXsecmax|X1X2|

Для вивченняЗверніть увагу, що з великою часткою ймовірності кулі кидаються в перші бункери, а також в останні бункери. Отже, і розподіляються по суті, як максимальне навантаження при киданні кульок у бункери.|X1X2|m/2±O(m)n/2n/2X1X2m=m/2±o(m)n=n/2

Цей розподіл добре вивчений і, на щастя для цього аргументу, щільно зосереджений навколо його середнього значення. Наприклад, якщо , то з великою часткою ймовірності відрізняється від свого очікування щонайбільше кількістю, відображеною вгорі цієї відповіді [ Thm. 1 ]. (Зауважте: ця верхня межа, я думаю, нещільна, з огляду на відповідь Юрія.) Таким чином, з великою часткою ймовірності і також відрізняються щонайбільше на це значно, і тому і відрізняються щонайбільше на це.mnlog3nX1X1X2XmaxXmaxsec

І навпаки, для (дещо слабкішої) нижньої межі, якщо для будь-якого , скажімо, , тоді принаймні який (по наївному зв’язку) становить щонайменше Я думаю, що це повинно дати вам (наприклад) очікування в межах постійного коефіцієнта.tPr[|X1X2|t]3/4Pr[XmaxXsec-maxt]

Pr[|X1X2|t  XmaxXsec-max=|X1X2|]
1(1/4)(1/2)=1/4.XmaxXsec-max

Дивлячись на Thm. 1, різниця від очікування - , а не те, що ви написали. Це все ще набагато краще, ніж . O((m/n)loglogn)O((m/n)logn)
Yuval Filmus

За Thm. 1 (його 3-й випадок), для будь-якого , з ймовірністю , максимум у будь-якому відрізку (m кульок у n бункерах) становить За моєю математикою (використовуючи ), термін розширюється до додаткового абсолютного доданкуЩо я роблю неправильно? ϵ>01o(1)
mn+2mlognn1(1±ϵ)loglogn2logn.
±ϵO(ϵ)1δ=1O(δ)±ϵ
O(ϵ)mlognn loglognlogn = O(ϵ)mn log2lognlogn.
Ніл Янг

Ага - гадаю, ти маєш рацію. Я відніс всередину квадратного кореня і ось так я отримав свою фігуру.
Yuval Filmus
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.