Питання про комбінацію / ймовірність на основі довжини рядка та можливих символів

Якщо припустити "повну випадковість" і надати рядок довжиною 20 символів, де кожен символ може бути одним з 62 можливих символів:

Яка можлива загальна кількість комбінацій? (Вгадуючи 20 під силу 62.)
Крім того, якщо нові рядки вибираються випадковим чином одна за одною і додаються до списку рядків, вибраних до цього часу, скільки рядків потрібно вибрати, перш ніж шанс вибору вже вибраного рядка знаходиться нижче 1-в-100000 ( )? $10^{-5}$

Примітка: 62 походить з числових цифр (0-9), великих літер (AZ) та малих літер (az).

probability combinatorics

— промахи
джерело

Вашу другу точку кулі можна прочитати (принаймні) двома можливими способами. Мене цікавить, що вас цікавить. ( 1 ) Ймовірність того, що й рядок відповідає одній з попередніх рядків, або ( 2 ) Ймовірність того, що до моменту вибору ї рядки в колекції існує деякий дублікат ниток, намальованих поки що. Відповіді на ці два питання будуть дуже різними. :)

n

$n$

n

$n$

— кардинал

Можливо, врахування двозначного алфавіту дозволить зрозуміти різницю. Нехай букви будуть і . Ми можемо запитати: ( 1 ) Для якого у нас є принаймні 99% шанс, що й рядок буде дублікатом попереднього рядка? Тут є 8, оскільки єдиний спосіб, коли ми не вдається, це якщо наша послідовність є або або , яка має загальну ймовірність . Або ми запитуємо ( 2 ) Для чого маємо принаймні 99% шанс побачити якийсь дублікат? У цьому випадку оскільки до того часу ми бачили три рядки або

H

$H$

T

$T$

n

$n$

n

$n$

n

$n$

T T T \dots T H

$TTT \cdots TH$

H H H \dots H T

$HHH\cdots HT$

2^{- (n - 1)}

$2^{-(n-1)}$

n

$n$

n = 3

$n = 3$

H

$H$ або повторюється щонайменше один раз.

T

$T$

— кардинал

Відповідь Метта відповідає ( 1 ), яка по суті відповідає на питання про те, чи відповідає "мій" рядок чужому. Але якщо ви переживаєте, що рядки інших двох людей також можуть збігатися, то вас цікавить ( 2 ). Це зводиться до того, чи є у вас якась цікава нитка, з якою ви порівнюєте всіх інших, чи ви порівнюєте всі рядки один з одним. Я не впевнений, чи роблю це ясніше. (Ваша проблема зводиться до одного з двох варіантів відомої так званої "проблеми з днем народження".)

— кардинал

Кардинал, як завжди, правильно. Я припускав, що у вас є одна "цільова" рядок, для якої ви генеруєте список здогадок. Якщо замість цього, ви генеруєте рядки випадковим чином і хочете дізнатися число, яке можна генерувати, перш ніж збігаються будь-які дві рядки, то відповідь насправді дуже різний. Я зміню свою відповідь, щоб вирішити цю справу, якщо з вами це нормально.

— Метт Крауз

Я не зробив свого попереднього прикладу повністю зрозумілим. Вибач за те. Я думав про двобуквенний алфавіт і малював рядки довжиною один . Отже, коли я писав , це стояв за

{H, T}

$\{H,T\}$

H H H \dots H T

$HHH\cdots HT$

s_{1} = H

$s_1 = H$ ,

s_{2} = H

$s_2 = H$ , ...,

s_{n - 1} = H

$s_{n-1} = H$ ,

s_{n} = T

$s_n = T$ .

— кардинал

Загальна кількість можливостей

1) Закрий! У вас 62 варіанти для першого персонажа, 62 для другого тощо, так що ви закінчите $62 \cdot 62 \cdot 62 \cdot \cdots 62 = 62^{20}$ , що є абсурдно величезною кількістю.

Зіткнення з рядком "Ціль"

2) Як ми встановили вище, є $62^{20}$ потенційні рядки. Ви хочете знати, скільки вам потрібно буде здогадуватися, щоб мати кращий показник 1 на 100 000 шансів на вгадування рядка "target". По суті, ви запитуєте, що

\frac{x}{62^{20}} \geq \frac{1}{10^{5}}

$\frac{x}{62^{20}} \ge \frac{1}{10^5}$ Щоб вимкнути це місце, вам доведеться округлити х (або додати його, якщо вони точно рівні), але як ви побачите через секунду, це насправді не має значення.

За допомогою основної алгебри ми можемо переставити це як

\begin{aligned} 10^{5} x & \geq 62^{20} \\ 10^{5} x & \geq (6.2 \cdot 10)^{20} \\ 10^{5} x & \geq {6.2}^{20} \cdot 10^{20} \\ x & \geq {6.2}^{20} \cdot 10^{15} \end{aligned}

$\begin{aligned} 10^5x &\ge 62^{20}\\ 10^5{x} &\ge (6.2 \cdot 10)^{20}\\ 10^5x &\ge 6.2^{20} \cdot 10^{20}\\ x &\ge 6.2^{20} \cdot 10^{15} \end{aligned}$

Виконуючи математику, $6.2^{20}$ є про $7 \cdot 10^{15}$ , тому назвемо всю справу $7 \cdot 10^{30}$ або, що більш лаконічно, цілий чорт багато.

Це, звичайно, чому довгі паролі працюють дуже добре :-) Що стосується справжніх паролів, звичайно, ви повинні турбуватися про рядки довжиною менше або дорівнює двадцяти, що збільшує кількість можливостей ще більше.

Дублікати у списку

Тепер розглянемо інший сценарій. Рядки генеруються випадковим чином, і ми хочемо визначити, скільки їх можна створити, перш ніж є шанс 1: 100 000 для будь-яких двох рядків. Класична версія цієї проблеми називається «Проблема з днем народження» (або «Парадокс») і запитує, яка ймовірність того, що двоє з російських людей мають один день народження. Стаття у Вікіпедії [1] виглядає пристойно і містить кілька таблиць, які можуть вам бути корисними. Тим не менш, я спробую надати вам смак для відповіді і тут.

Деякі речі, які слід пам’ятати:

-Імовірність матчу та невідповідності повинна дорівнювати 1, значить $P(\textrm{match}) = 1 - P(\textrm{no match})$ і навпаки.

-До двох незалежних заходів $A$ і $B$ , ймовірність $P(A \& B) = P(A) \cdot P(B)$ .

Щоб отримати відповідь, ми почнемо з обчислення ймовірності не побачити відповідність для фіксованої кількості рядків $k$ . Як тільки ми знаємо, як це зробити, ми можемо встановити це рівняння, що дорівнює порогу (1/100 000), і вирішити для $k$ . Для зручності давайте зателефонуємо $N$ кількість можливих рядків ( $62^{20}$ ).

Ми збираємось "піти" вниз по списку і обчислити ймовірність того, що $k$ ^ {th} рядок відповідає будь-якому з рядків "вище" у списку. Перший рядок у нас є $N$ загальних рядків і нічого в списку, так що $P_{k=1}(\textrm{no match}) = \frac{N}{N} = 1$ . Для другого рядка є ще $N$ загальних можливостей, але одна з них була "використана" першим рядком, тому ймовірність відповідності для цього рядка є $P_{k=2}(\textrm{no match}) = \frac{N-1}{N}$ Для третьої струни є два способи відповідності їй і тому $N-2$ способи не зробити так $P_{k=3}(\textrm{no match}) = \frac{N-2}{N}$ і так далі. Загалом, ймовірність виникнення $k$ th рядок, що не відповідає іншим, є

П_{к} (немає відповідності) = \frac{N - к + 1}{N}

$P_{k}(\textrm{no match})= \frac{N-k+1}{N}$

Однак ми хочемо, щоб не було відповідностей жодному з $k$ струни. Оскільки всі події є незалежними (за запитанням), ми можемо просто помножити ці ймовірності разом так:

П (Немає відповідностей) = \frac{N}{N} \cdot \frac{N - 1}{N} \cdot \frac{N - 2}{N} \dots \frac{N - к + 1}{N}

$P(\textrm{No Matches}) = \frac{N}{N} \cdot \frac{N-1}{N} \cdot \frac{N-2}{N} \cdots \frac{N-k+1}{N}$ Це можна трохи спростити:

\begin{aligned} П (Немає відповідностей) & = \frac{N \cdot (N - 1) \cdot (N - 2) \dots (N - к + 1)}{N^{к}} \\ П (Немає відповідностей) & = \frac{N!}{N^{к} \cdot (N - к)!} \\ П (Немає відповідностей) & = \frac{к! \cdot (\binom{N}{к})}{N^{к}} \end{aligned}

$\begin{aligned} P(\textrm{No Matches}) &= \frac{N \cdot (N-1) \cdot (N-2) \cdots (N-k+1)}{N^k} \\ P(\textrm{No Matches}) &= \frac{N!}{N^k \cdot (N-k)!} \\ P(\textrm{No Matches}) &= \frac{k! \cdot \binom{N}{k}}{N^k} \\ \end{aligned}$ Перший крок просто множує дроби разом, другий використовує визначення факторіального (

k! = (k) \cdot (k - 1) \cdot (k - 2) \dots 1

$k! = (k) \cdot (k-1) \cdot (k-2) \cdots 1$ ) замінити продукцію

N - k + 1 \dots N

$N-k+1 \cdots N$ з чимось трохи більш керованим, а останній крок заміняється на двочленний коефіцієнт. Це дає нам рівняння щодо ймовірності відсутності збігів після генерації

k

$k$ струни. Теоретично ви могли б встановити це рівним

\frac{1}{100, 000}

$\frac{1}{100,000}$ і вирішити для

k

$k$ . На практиці відповісти на це буде складно, оскільки ви будете множувати / ділити на величезну кількість - фабрики ростуть дуже швидко (

100!

$100!$ довше 150 цифр).

Однак є наближення, як для обчислення факторіалу, так і для всієї проблеми. Цей документ [2] пропонує

k = 0.5 + \sqrt{0.25 - 2 N \ln (p)}

$k = 0.5 + \sqrt{0.25 - 2N\ln(p)}$ де р - ймовірність не побачити відповідність. Його випробування максимум на

N = 48, 000

$N=48,000$ , але це все ще досить точно. Підключаючи ваші номери, я отримую приблизно

3.7 \cdot 10^{15}

$3.7 \cdot 10^{15}$ .

Список літератури

[1] http://en.wikipedia.org/wiki/Birthday_problem

[2] Матіс, Френк Х. (червень 1991). "Узагальнена проблема дня народження". Огляд SIAM (Товариство промислової та прикладної математики) 33 (2): 265–270. JSTOR Посилання

— Метт Краузе
джерело

+1 Дивовижно, зважаючи на те, що мої погані математичні навички призвели до того, що я задав це питання, тому я залишаю це питання без відповіді на день, але мені добре виглядає, і чи є більш зрозумілим відповідь, ніж я очікував - дякую!

— помилки

Радий допомогти! Дайте мені знати, якщо щось незрозуміло. Для ударів я побіг числа. Вам знадобиться 7044234255469980229683302646164 здогадки; як я вже сказав - багато!

— Метт Крауз

+1 @Matt Krause: +1 до вашого коментаря нижче відповіді; Ваша відповідь та прихильність дати найкращу можливу відповідь є зразковою, гідною уваги, і дякую за всю Вашу важку працю!

— промахи