Поширення найбільшого фрагмента зламаної палички (проміжки)

Нехай палиця довжиною 1 розбивається на фрагменти навмання рівномірно. Який розподіл довжини найдовшого фрагмента? $k+1$

Більш формально, нехай буде IID , і нехай є пов'язаною статистикою замовлення, тобто ми просто замовляємо зразок таким чином, що . Нехай . $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

Мене цікавить розподіл $Z_k$ . Моменти також є асимптотичними результатами або наближеннями $k \uparrow \infty$ .

— gui11aume
джерело

Це добре вивчена проблема; див. R. Pyke (1965), "Spacings", JRSS (B) 27 : 3, pp. 395-449. Я спробую повернутися, щоб додати трохи інформації пізніше, якщо хтось не поб'є мене. Існує також документ 1972 року того ж автора (" Spacings revisited "), але я думаю, що ви шукаєте, це майже все спочатку. У Devroye (1981) є деякі асимптотики , "Закони ітераційного логарифму для статистики замовлень рівномірних розмірів" Енн. Імовірно. , 9 : 5, 860-867.

— Glen_b -Встановити Моніку

Вони також повинні дати кілька хороших пошукових термінів, щоб знайти пізніше роботу, якщо вона вам потрібна.

— Glen_b -Встановіть Моніку

Це круто. Першу довідку важко знайти. Для зацікавлених я поклав це на The Grand Locus .

— gui11aume

Виправте помилку:

Y_{(k)}

$Y_{(k)}$ замість

U_{(k)}

$U_{(k)}$ .

— Віктор

Дякую @Viktor! Щодо таких дрібниць, не соромтеся самостійно редагувати (я думаю, що вони будуть переглянуті іншими користувачами для затвердження).

— gui11aume

З інформацією, наданою @Glen_b, я міг знайти відповідь. Використовуючи ті самі позначення, що і питання

P (Z_{k} \leq x) = \sum_{j = 0}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} (1 - j x)_{+}^{k},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

де якщо і іншому випадку. Я також даю очікування та асимптотичну конвергенцію до розподілу Гумбеля ( NB : не бета) $a_+ = a$ $a > 0$ $0$

E (Z_{k}) = \frac{1}{k + 1} \sum_{i = 1}^{k + 1} \frac{1}{i} \sim \frac{\log (k + 1)}{k + 1}, P (Z_{k} \leq x) \sim \exp (- e^{- (k + 1) x + \log (k + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

Матеріал доказів взято з кількох публікацій, пов'язаних у посиланнях. Вони дещо довгі, але прямолінійні.

1. Доведення точного розподілу

Нехай - IID однакові випадкові величини в інтервалі . Замовляючи їх, ми отримуємо статистику порядок позначених . Рівномірні проміжки визначаються як , з і . Впорядковані інтервали - відповідна упорядкована статистика . Змінна інтерес становить . $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

Для фіксованого визначаємо індикаторну змінну . За симетрією випадковий вектор є обмінним, тому спільний розподіл підмножини розміру такий же, як спільний розподіл перший . Розширюючи продукт, ми отримуємо таким чином $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$

П (Δ_{(к + 1)} \leq х) = Е (\prod_{i = 1}^{к + 1} (1 - 1_{i})) = 1 + \sum_{j = 1}^{к + 1} (\binom{к + 1}{j}) (- 1)^{j} Е (\prod_{i = 1}^{j} 1_{i}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

Тепер ми доведемо, що , що встановить розподіл, поданий вище. Доводимо це для , оскільки загальний випадок доводиться аналогічно. $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

Е (\prod_{i = 1}^{2} 1_{i}) = П (Δ_{1} > х \cap Δ_{2} > х) = П (Δ_{1} > х) П (Δ_{2} > х | Δ_{1} > х) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

Якщо , точки знаходяться в інтервалі . Умовно в цій події точки перерви все ще є обмінними, тому ймовірність того, що відстань між другою і першою точкою розриву перевищує є такою ж, як імовірність того, що відстань між першою точкою зламу та лівим бар'єром (у положенні ) більший за . Так $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$

П (Δ_{2} > х | Δ_{1} > х) = П (всі пункти в (2 х, 1) | всі пункти в (х, 1)), так П (Δ_{2} > х \cap Δ_{1} > х) = П (всі пункти в (2 х, 1)) = (1 - 2 х)_{+}^{к} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. Очікування

Для дистрибутивів з обмеженою підтримкою ми маємо

Е (Х) = \int П (Х > х) г х = 1 - \int П (Х \leq х) г х .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

Інтегруючи розподіл , отримаємо $\Delta_{(k+1)}$

Е (Δ_{(к + 1)}) = \frac{1}{к + 1} \sum_{j = 1}^{к + 1} (\binom{к + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{к + 1} \sum_{j = 1}^{к + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

Остання рівність - це класичне зображення гармонічних чисел , які ми демонструємо нижче. $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

Зі зміною змінної та розширенням добутку отримуємо $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. Альтернативна побудова рівномірних міжряддя

Для отримання асимптотичного розподілу найбільшого фрагмента нам потрібно буде демонструвати класичну побудову рівномірних проміжків як експоненціальних змінних, поділених на їх суму. Щільність ймовірності статистики пов'язаного замовлення становить $(U_{(1)}, \ldots, U_{(k)})$

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

Якщо позначимо рівномірні проміжки , з , отримаємо $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

Визначивши , отримаємо таким чином $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

Тепер нехай - експоненціальні випадкові змінні IID із середнім значенням 1, і нехай . За допомогою простої зміни змінної ми можемо це побачити $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

Визначимо , таким чином, що при зміні змінної ми отримаємо $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

Інтегруючи цю щільність відносно , ми отримуємо таким чином $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

Отже спільний розподіл рівномірних проміжків на інтервалі такий же, як спільний розподіл експоненціальних випадкових величин, поділених на їх суму. Ми приходимо до наступної еквівалентності розподілу $k+1$ $(0,1)$ $k+1$

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. Асимптотичний розподіл

Використовуючи вищезгадану еквівалентність, отримуємо

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

де . Ця змінна втрачає ймовірність, оскільки і . Асимптотично розподіл такий самий, як у . Оскільки - IID, у нас є $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} П (Х_{(к + 1)} - журнал (к + 1) \leq х) & = П {(Х_{1} \leq х + журнал (к + 1))}^{к + 1} \\ = {(1 - е^{- х - журнал (к + 1)})}^{к + 1} = {(1 - \frac{е^{- х}}{к + 1})}^{к + 1} \sim досвід {- е^{- х}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. Графічний огляд

На графіку нижче показано розподіл найбільшого фрагмента для різних значень . Для я також наклав асимптотичний розподіл Гамбеля (тонка лінія). Gumbel дуже поганий наближення для малих значень тому я опускаю їх, щоб не перевантажувати картинку. Наближення Гумбеля добре від . $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. Список літератури

Наведені вище докази взяті з посилань 2 і 3. Цитується література містить набагато більше результатів, таких як розподіл упорядкованих проміжків будь-якого рангу, їх граничний розподіл та деякі альтернативні побудови упорядкованих рівномірних інтервалів. Ключові посилання легко доступні, тому я також надаю посилання на повний текст.

Байрамов та ін. (2010) Обмеження результатів для упорядкованих рівномірних проміжків , Стат. Документи, 51: 1, с. 227-240
Холст (1980) Про довжину шматочків палиці, розбитої навмання , Дж. Еппл. Проб., 17, с. 623-634
Pyke (1965) Spacings , JRSS (B) 27: 3, pp. 395-449
Renyi (1953) Про теорію статистики порядку , Acta math Hung, 4, pp. 191-231

— gui11aume
джерело

Блискуча. До речі, чи є асимптотика ?

E (Z_{k}^{2})

$E(Z_k ^2)$

— Амір Сагів

@AmirSagiv це хороше питання. Я швидко переглянув посилання і не зміг його знайти. Я також не міг адаптувати доказ вище. Це дало мені зрозуміти, що я не знаю, що таке розподіл квадрата Гамбеля. Можливо, гарне місце для початку?

— gui11aume

$ gui11aume Подивіться тут: mathoverflow.net/a/293381/42864

— Амір

@AmirSagiv Це дуже хороший пост. Чомусь я неправильно зрозумів ваше запитання і подумав, що ви зацікавлені в асимптотичному розподілі (навіть якщо ваш коментар був дуже чітким), тому мій коментар вище не так актуальний.

Z_{k}^{2}

$Z_k^2$

— gui11aume

Це не повна відповідь, але я зробив кілька швидких симуляцій, і ось що я отримав: Гістограма найдовшого фрагмента

Це виглядає надзвичайно бета-ish, і це має певний сенс, оскільки статистика замовлень однакового розподілу - це бета- вікі .

Це може дати певну вихідну точку для отримання отриманого PDF-файлу.

Я оновлю, якщо дістану остаточне закрите рішення.

Ура!

— Ліма
джерело

Ще одне - форма гістограми для збільшення k не помітно змінюється, окрім того, що «скуті» наближаються до 0.

— Ліма,

Дякуємо за ваші думки @Lima (і ласкаво просимо до Cross Validated). Я думаю, що вашу відповідь можна покращити. По-перше, я б утримався від заяв без доказів. Якщо це неправильно, ви можете поставити людей, які бачать цю тему, неправильно. По-друге, я б задокументував те, що ви зробили. Без значення яке ви використовували, ні коду, цифра нікому не допомагає. Нарешті, я скопіював-відредагував би відповідь та видалив усе, що не відповідає безпосередньо на питання.

k

$k$

— gui11aume

Дякуємо за пропозиції. Вони дійсні поза обміном стеками, і я не забуду їх використовувати.

— Ліма

Я відповів на конференцію в Сієні (Італія) у 2005 році. Доклад (2006) представлений на моєму веб-сайті тут (pdf) . Точні розподіли всіх інтервалів (найменший до найбільших) можна знайти на сторінках 75 та 76.

Я сподіваюся виступити з доповіддю на цю тему на конференції RSS у Манчестері (Англія) у вересні 2016 року.

— CJStephens
джерело

Ласкаво просимо на сайт. Ми намагаємось створити постійний сховище високоякісної статистичної інформації у вигляді запитань та відповідей. Таким чином, ми насторожено ставимося до відповідей, що стосуються лише посилання, завдяки linkrot. Чи можете ви опублікувати повне цитування та резюме інформації за посиланням, якщо вона загине? Також, будь ласка, не підписуйте тут свої повідомлення. Кожна публікація містить посилання на вашу сторінку користувача, де ви можете розмістити цю інформацію.

— gung - Відновіть Моніку