Яка щільна нижня межа часу збирання купона?

20

У класичній проблемі колекціонера купонів добре відомо, що час необхідний для заповнення набору випадково вибраних купонів, задовольняє , і . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Ця верхня межа краща за ту, що задана нерівністю Чебишева, яка була б приблизно $1/c^2$ .

Моє запитання: чи є відповідна нижча межа краща за Чебишева для $T$ ? (наприклад, щось на кшталт $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— Девід
джерело

Очевидною нижньою межею є

Pr (T < n) = 0

$\Pr(T<n) = 0$ , але я думаю, ви це знаєте ...

— onestop

14

Я надаю це як другу відповідь, оскільки аналіз є абсолютно елементарним і дає саме бажаний результат.

Пропозиція Для $c > 0$ і $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

Ідея доказу проста:

Представіть час, поки всі купони не будуть зібрані як $T = \sum_{i=1}^n T_i$ , де $T_i$ - час, коли зібраний $i$ й (раніше) унікальний купон. $T_i$ геометричні випадкові величини із середнім часи $\frac{n}{n-i+1}$ .
Застосуйте версію зв'язаного Chernoff та спростіть.

Доказ

Для будь-якого і будь-якого маємо, що $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Оскільки і незалежні, ми можемо записати $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Оскільки є геометричним, скажімо, з ймовірністю успіху , то простий обчислення показує $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

для нашої задачі є , , і т.д. Отже, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Давайте вибирати і для деяких . Тоді і , даючи $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Складаючи це разом, отримуємо, що

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

за бажанням.

— кардинальний
джерело

Це дуже приємно і саме те, що призначив лікар. Дякую.

— Девід

@David, просто цікаво: що призначений додаток?

— кардинал

Довга історія. Я намагаюся довести нижню межу часу змішування ланцюга Маркова, який я приготував, щоб проаналізувати час роботи алгоритму, який мене цікавить - що, як виявляється, зводиться до нижньої межі .колекторна проблема. До речі, я грав з намагаюся знайти саме такого роду Чернов стилю пов'язаний, але не зрозумів, як позбутися від цього продукту в . Добрий вибір дзвінка :-).

i

$i$

s = 1 / n

$s = 1/n$

— Девід

@David, , хоча майже напевно субоптимальний, здавалося очевидним, що слід спробувати, оскільки це дало , що є тим самим терміном, що і отримане у виведенні для верхня межа.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— кардинал

1

Запит : Доказ, який я дав вище, - мій власний. Я працював над цим із задоволенням, оскільки проблема мене заінтригувала. Однак я не претендую на новизну. Справді, я не можу уявити, що подібного доказу з використанням подібної методики в літературі вже не існує. Якщо хтось знає про посилання, будь ласка, опублікуйте це як коментар тут. Мені було б дуже цікаво дізнатися про таке.

— кардинал

9

Хоча @cardinal вже дав відповідь, яка дає саме ту межу, яку я шукав, я знайшов подібний аргумент у стилі Черноффа, який може дати більш сильну межу:

Пропозиція : (це сильніше для )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Доказ :

Як і у відповіді @ кардинала, ми можемо використовувати той факт, що - сума незалежних геометричних випадкових величин з ймовірністю успіху . Звідси випливає, що і . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Визначте нові змінні , і . Тоді ми можемо записати $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Обчислюючи середні показники, ми маємо

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ де нерівність випливає з фактів, що а також для .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Таким чином, оскільки , ми можемо записати $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

Мінімізуючи , ми нарешті отримуємо $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— Девід
джерело

1

(+1) Модуло пару незначних помилок, це приємно. Розширення навколо чогось близького до середнього, як ви робили, часто працює краще. Я не здивований, коли бачу збіжність вищого порядку з урахуванням асимптотичних результатів. Тепер, якщо ви показуєте подібну верхню межу, то доказ є субекспоненціальним у термінології Вершиніна, що має багато наслідків щодо концентрації вимірювання.

(T - n \log n) / n

$(T-n\log n)/n$

— кардинал

1

Аргумент, схоже, не узагальнюється безпосередньо до верхньої межі. Обміняючи на (і на ), можна виконати ті самі кроки до моменту обчислення . На даний момент, найкраще, що я можу зробити, - це використовувати , який ще залишає і я не Я не знаю, що з цим робити

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

Е [е^{с S}] \leq е^{\frac{1}{2} с^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - с / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— Девід

2

Цікаво, що весь аргумент (для нижньої межі), здається, працює не лише для проблеми з колектором купонів, але і для будь-якої суми неідентифікованих незалежних геометричних змінних із обмеженою дисперсією. Зокрема: задано , де кожен є незалежним GV з імовірністю успіху , і де , тоді

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Пр (Т \leq Е [Т] - а) \leq е^{- \frac{а^{2}}{2 А}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— Девід

4

Важлива примітка : Я вирішив видалити доказ, який я дав спочатку в цій відповіді. Це було довше, більш обчислювально, використовували великі молотки і виявляли слабший результат порівняно з іншими доказами, які я дав. Все навколо, неповноцінний підхід (на мій погляд). Якщо ви дійсно зацікавлені, я думаю, ви можете переглянути зміни.

Асимптотичні результати, які я спочатку цитував і які все ще знайдені нижче у цій відповіді, показують, що як ми можемо зробити трохи краще, ніж пов'язане, що доводиться в іншій відповіді, яка справедлива для всіх . $n \to \infty$ $n$

Наступні асимптотичні результати справедливі

П (Т > н журнал н + c н) \to 1 - е^{- е^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

і

П (Т \leq н журнал н - c н) \to е^{- е^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

Константа та межі приймаються як . Зауважте, що, хоча вони розділені на два результати, вони майже однаковий результат, оскільки ні в якому разі не обмежується тим, що не має негативного характеру. $c \in \mathbb{R}$ $n \to \infty$ $c$

Див., Наприклад, Мотвані та Рагаван, Рандомізовані алгоритми , стор. 60--63 для доказу.

Також : Девід люб'язно надає доказ своєї заявленої верхньої межі в коментарях до цієї відповіді.

— кардинальний
джерело

Так, це справедливо для кожного фіксованого . Докладний (дуже простий) доказ можна знайти, наприклад, у книзі Левіна, Переса та Вілмера «Маркові ланцюги та часи перемішування», пропозиція 2.4. Доказ не працює для нижньої межі.

n

$n$

— Девід

1

Насправді, я міг би також переписати доказ тут: "Нехай буде випадком, коли тип -го [купона] не з'явиться серед перших купонів, намальованих. Спочатку зауважте, що . Оскільки кожна пробна версія має ймовірність не вивести купон і випробування незалежні, права частина вгорі обмежена вище , доводячи (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— Девід

@David, це приємно і просто. Я швидко зіграв із розширенням формули включення-виключення іншим терміном, але нікуди не потрапив швидко і не встиг переглянути це далі. Подія еквівалентна події, коли після випробувань не залишилося жодних купонів . З цим має бути пов’язаний мартингал. Ви спробували нерівність Геффдінга на (імовірно) асоційованому мартингале? Асимптотичний результат передбачає сильну концентрацію.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— кардинал

@David, у вашому доказі вище вказаний знак, але я впевнений, що це очевидно і для інших читачів.

— кардинал

@David, дивіться мою іншу опубліковану відповідь на ваше запитання. Метод відрізняється від верхньої межі, яку ви даєте, але використовувані інструменти майже настільки ж елементарні, на відміну від відповіді, яку я дав тут.

— кардинал

2

Бенджамін Доер дає (у розділі "Аналіз евристики рандомізованого пошуку: інструменти з теорії ймовірностей" у книзі "Теорія евристики рандомізованого пошуку", див. Посилання на Інтернет-PDF) дещо просте доказ

Пропозиція Нехай - час зупинки процесу збору купонів. Тоді . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Це, здається, дає бажані асимптотики (з другої відповіді @ кардинала), але з перевагою, що це правда для всіх та . $n$ $\epsilon$

Ось доказний ескіз.

Ескіз доказування: Нехай є випадком, коли -й купон буде зібраний у першій розіграші . Таким чином, . Ключовим фактом є те, що мають негативну кореляцію для будь-якого , . Інтуїтивно це досить чітко, оскільки знаючи, що -й купон у першому розіграші зробить меншою ймовірність того, що -й купон також буде намальований у першому розіграші. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Можна довести претензію, але збільшивши набір на 1 на кожному кроці. Тоді вона зводиться до показуючи , що , для . Рівнозначно, шляхом усереднення, воно зводиться до показу, що . Для цього Doerr дає лише інтуїтивний аргумент. Один проспект до доказу такий. Можна помітити, що обумовлено купоном, що надходить після всіх купонів у , що ймовірність витягти новий купон з після малювання поки що , замість попереднього $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Таким чином, розкладаючи час для збору всіх купонів у вигляді суми геометричних випадкових змінних, ми можемо побачити, що обумовлення -купону, що настає після того, як збільшує ймовірність успіху, і, таким чином, виконуючи умову, лише збільшує ймовірність збирати купони раніше ( шляхом стохастичного домінування: кожна геометрична випадкова величина збільшується в умові стохастичного домінування за умови обумовлення, і це домінування потім може бути застосоване до суми). $j$ $I$

Зважаючи на цю негативну кореляцію, випливає, що , що дає бажаний зв'язаний з . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— міфорби
джерело