Ймовірність того, що не намалював слово з мішка з літерами в Scrabble

Припустимо, у вас був мішок з ятьма плитками, на кожному на якому буква. Є плитки з літерою 'A', з 'B' і так далі, і 'wildcard' плитками (у нас ). Припустимо, у вас був словник із обмеженою кількістю слів. Ви вибираєте плитки з сумки без заміни. Як би ви обчислили (або оцінили) ймовірність того, що ви можете сформувати нульові слова зі словника з урахуванням вибраних k плиток?n A n B n ∗ n = n A + n B + … + n Z + n ∗ k $n$$n_A$$n_B$$n_*$$n = n_A + n_B + \ldots + n_Z + n_*$$k$$k$

Для тих, хто не знайомий з Scrabble (TM), символом підстановки можна скористатися для відповідності будь-якій літери. Таким чином, слово [ BOOT ] може бути написане плитками "B", "*", "O", "T".

Щоб дати деяке уявлення про масштаб проблеми, $k$ невеликий, як 7, $n$ - близько 100, а словник містить близько 100 000 слів розміром $k$ або менше.

редагувати: під «формувати слово» я маю на увазі слово довжиною не більше $k$ . Таким чином, якщо слово [ A ] є у словнику, то, намалювавши з мішка навіть одне «A», «утворилося слово». Проблема підкреслень радикально спрощується, якщо можна припустити, що у словнику є слова довжиною 1. Оскільки, якщо є, будь-який малюнок підстановки автоматично може відповідати довжині 1 слова, і, таким чином, можна сконцентруватися на тому випадку, коли немає ніяких марок. Таким чином, більш слизькій формі задачі немає словника з 1 літери.

Також я повинен чітко зазначити, що порядок, в якому букви витягуються з мішка, не має значення. Не потрібно малювати літери в "правильному" порядку слова.

Це (довгий!) Коментар до приємної роботи @vqv, розміщеної в цій темі. Він спрямований на отримання остаточної відповіді. Він провів важку роботу зі спрощення словника. Залишилося лише експлуатувати це повною мірою. Його результати говорять про те, що жорстоке рішення є можливим . Зрештою, включаючи підстановку, є щонайбільше слова, які можна скласти із 7 символів, і схоже, що менше 1/10000 з них - скажімо, близько мільйона - не включатимуть дійсних слово. $27^7 = 10,460,353,203$

Перший крок - збільшити мінімальний словник з символом підстановки "?". 22 букви з’являються двобуквенними словами (усі, крім c, q, v, z). Приєднайте підстановку до цих 22 букв і додайте їх до словника: {a ?, b ?, d ?, ..., y?} Зараз. Так само ми можемо перевірити мінімальні трибуквні слова, викликаючи додаткові слова з’являтися в словнику. Нарешті додаємо "??" до словника. Після видалення результатів повторень він містить 342 мінімальних слова.

Елегантний спосіб продовження - той, що дійсно використовує дуже малу кількість кодування - це розглянути цю проблему як алгебраїчну . Слово, яке розглядається як не упорядкований набір букв, є лише мономієм. Наприклад, "шпліци" - одночлен . Словник тому є сукупністю мономіїв. Це виглядає як$a p s^2 t$

$$\{a^2, a b, a d, ..., o z \psi, w x \psi, \psi^2\}$$

(де, щоб уникнути плутанини, я написав для символу підстановки).$\psi$

Стійка містить дійсне слово тоді і тільки тоді, коли це слово розділяє стійка.

Більш абстрактний, але надзвичайно потужний спосіб сказати це, що словник генерує ідеальне в поліноміальному кільці і що стійки з дійсними слова стають нульовими в кінцевому кільці , тоді як стійки без дійсних слів залишаються нульовими в частці. Якщо ми сформуємо суму всіх стелажів у і обчислимо її в цьому коефіцієнті, то кількість стійок без слів дорівнює кількості виразних одночленів у коефіцієнті.R = Z [ a , b , … , z , ψ ] R / I $I$$R = \mathbb{Z}[a, b, \ldots, z, \psi]$$R/I$$R$

Крім того, суму всіх стійок у просто виразити. Нехай - сума всіх літер в алфавіті. містить один монолог для кожної стійки. (В якості додаткового бонусу його коефіцієнти підраховують кількість способів формування кожної стійки, що дозволяє нам обчислити її ймовірність, якщо нам це подобається.)α = a + b + ⋯ + z + ψ α $R$$\alpha = a + b + \cdots + z + \psi$$\alpha^7$

Як простий приклад (щоб побачити, як це працює), припустимо, (а) ми не використовуємо підстановку та (b) всі літери від "а" до "х" вважаються словами. Тоді єдині можливі стійки, з яких не можна сформувати слова, повинні повністю складатися з y і z. Ми обчислюємо по модулю ідеал, породжений один крок за часом, таким чином: { a , b , c , … , x $\alpha=(a+b+c+\cdots+x+y+z)^7$$\{a,b,c, \ldots, x\}$

$$\eqalign{ \alpha^0 &= 1 \cr \alpha^1 &= a+b+c+\cdots+x+y+z \equiv y+z \mod I \cr \alpha^2 &\equiv (y+z)(a+b+\cdots+y+z) \equiv (y+z)^2 \mod I \cr \cdots &\cr \alpha^7 &\equiv (y+z)^6(a+b+\cdots+y+z) \equiv (y+z)^7 \mod I \text{.} }$$

З остаточної відповіді ми можемо прочитати шанс отримання несловної стійки, : кожен коефіцієнт підраховує способи, за якими можна намалювати відповідну стійку. Наприклад, існує 21 (з 26 ^ 7 можливих) способів намалювати 2 y та 5 z's, оскільки коефіцієнт дорівнює 21.y 2 z $y^7 + 7 y^6 z + 21 y^5 z^2 + 35 y^4 z^3 + 35 y^3 z^4 + 21 y^2 z^5 + 7 y z^6 + z^7$$y^2 z^5$

З елементарних розрахунків очевидно, що це правильна відповідь. Вся справа в тому, що ця процедура працює незалежно від змісту словника.

Зверніть увагу, як зменшення модуля потужності ідеалом на кожному етапі скорочує обчислення: ось ярлик, виявлений таким підходом. (Кінець прикладу.)

Системи поліноміальної алгебри реалізують ці розрахунки . Наприклад, ось код Mathematica :

alphabet =  a + b + c + d + e + f + g + h + i + j + k + l + m + n + o + 
            p + q + r + s + t + u + v + w + x + y + z + \[Psi];
dictionary = {a^2, a b, a d, a e, ..., w z \[Psi], \[Psi]^2};
next[pp_] := PolynomialMod[pp alphabet, dictionary];
nonwords = Nest[next, 1, 7];
Length[nonwords]

(Словник може бути побудований прямо з @ vqv's min.dict; я ставлю сюди рядок, який показує, що він досить короткий, щоб бути визначеним безпосередньо, якщо вам подобається.)

Вихід - який займає десять хвилин на обчислення - становить 577958. ( Примітка. У попередній версії цього повідомлення я допустив невелику помилку при підготовці словника і отримав 577940. Я відредагував текст, щоб відобразити те, на що я сподіваюся, що зараз. правильні результати!) Трохи менше, ніж я очікував мільйон, але такого ж порядку.

Щоб обчислити шанс отримання такої стійки, нам потрібно врахувати кількість способів, яким можна намалювати стійки. Як ми бачили в прикладі, це дорівнює його коефіцієнту в . Шанс намалювати якусь таку стійку - це сума всіх цих коефіцієнтів, яку легко знайти, встановивши всі літери, що дорівнюють 1:$\alpha^7$

nonwords /. (# -> 1) & /@ (List @@ alphabet)

Відповідь дорівнює 1066056120, що дає шанс 10,1914% намалювати стійка, з якої не може бути сформовано жодного дійсного слова (якщо всі букви однакові).

Коли ймовірність букв змінюється, просто замініть кожну букву на її шанс намалювати:

tiles = {9, 2, 2, 4, 12, 2, 3, 2, 9, 1, 1, 4, 2, 6, 8, 2, 1, 6, 4, 6, 
         4, 2, 2, 1, 2, 1, 2};
chances = tiles / (Plus @@ tiles);
nonwords /. (Transpose[{List @@ alphabet, chances}] /. {a_, b_} -> a -> b)

Вихід становить 1.079877553303%, точна відповідь (хоча і з використанням приблизної моделі, креслення із заміною). Озираючись назад, для введення даних (алфавіту, словника та частоти алфавіту) знадобилось чотири рядки і лише три рядки для виконання роботи: опишіть, як приймати наступну потужність модуля , приймати 7-ту потужність рекурсивно та замінювати ймовірності для букв.$\alpha$$I$

Дуже важко намалювати стійку, яка не містить жодного дійсного слова в Scrabble та його варіантах. Нижче представлена ​​програма, яку я написав, щоб оцінити ймовірність того, що початковий стелаж із 7 плиток не містить дійсного слова. Він використовує підхід monte carlo та лексикон Words With Friends (я не міг знайти офіційний лексикон Scrabble у простому форматі). Кожна пробна версія складається із складання 7-плиткової стійки та перевірки, чи містить стійка дійсне слово.

Мінімальні слова

Не потрібно сканувати весь лексикон, щоб перевірити, чи містить стійка дійсне слово. Вам просто потрібно сканувати мінімальний лексикон, що складається з мінімальних слів. Слово є мінімальним, якщо воно не містить іншого слова як підмножини. Наприклад, 'em' - це мінімальне слово; "порожній" - ні. Сенс цього полягає в тому, що якщо стійка містить слово x, то вона також повинна містити будь-яку підмножину x . Іншими словами: стійка не містить слів, якщо вона не містить мінімальних слів. На щастя, більшість слів у лексиконі не мінімальні, тому їх можна усунути. Ви також можете об'єднати перестановочні еквівалентні слова. Мені вдалося скоротити лексикон Words With Friends з 172 820 до 201 мінімальних слів.

З маскими можна легко обробляти, обробляючи стійки та слова як розподіли по буквах. Ми перевіряємо, чи містить стійка слово, віднімаючи один розподіл від іншого. Це дає нам номер кожної літери, пропущеної зі стійки. Якщо сума цієї кількості дорівнює кількості символів, то це слово знаходиться в стійці.$\leq$

Єдина проблема підходу до monte carlo полягає в тому, що подія, яка нас цікавить, зустрічається дуже рідко. Тому потрібно пройти багато, багато випробувань, щоб отримати оцінку з досить малою стандартною помилкою. Я запустив свою програму (вставлений внизу) з випробувань і отримав оціночну ймовірність 0,004, що початкова стійка не містить дійсного слова . Розрахункова стандартна похибка цієї оцінки становить 0,0002. На моєму Mac Pro пройшло всього кілька хвилин, включаючи завантаження лексикону.$N=100,000$

Мені було б цікаво подивитися, чи може хтось придумати ефективний точний алгоритм. Наївний підхід, заснований на включенні та виключенні, здається, може включати комбінаторний вибух.

Включення-виключення

Я думаю, що це погане рішення, але тут все-таки є неповний ескіз. В принципі, ви можете написати програму, щоб зробити розрахунок, але специфікація була б сумною.

Ймовірність, яку ми хочемо обчислити, становить Подія всередині ймовірності з правого боку - це об'єднання подій: де - мінімальний лексикон. Ми можемо розширити його за допомогою формули включення-виключення. Він передбачає розгляд усіх можливих перетинів подій, зазначених вище. Нехай позначимо множину потужності , тобто безліч всіх можливих підмножин . Потім P ( k -стильна стійка містить слово ) =

$$P(k\text{-tile rack does not contain a word}) = 1 - P(k\text{-tile rack contains a word}) .$$ M P ( M ) M $$P(k\text{-tile rack contains a word}) = P\left(\cup_{x \in M} \{ k\text{-tile rack contains }x \} \right),$$ $M$$\mathcal{P}(M)$$M$$M$ $$\begin{align} &P(k\text{-tile rack contains a word}) \\ &= P\left(\cup_{x \in M} \{ k\text{-tile rack contains }x \} \right) \\ &= \sum_{j=1}^{|M|} (-1)^{j-1} \sum_{S \in \mathcal{P}(M) : |S| = j} P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} \right) \end{align}$$

Останнє, що потрібно вказати - це обчислити ймовірність в останньому рядку вище. Він передбачає багатовимірний гіпергеометричний. є подією , що стійка містить кожне слово в . Це біль, з якою потрібно боротися через макіяж. Нам доведеться, умовно, враховувати кожен із наступних випадків: на стійці немає ніяких символів, стійка містить 1 підстановку, стійка містить 2 макетів, ...

$$\cap_{x \in S} \{ k\text{-tile rack contains }x \}$$ $S$

Потім

$$\begin{align} &P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} \right) \\ &= \sum_{w=0}^{n_{*}} P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} | k\text{-tile rack contains } w \text{ wildcards} \right) \\ &\quad \times P(k\text{-tile rack contains } w \text{ wildcards}) . \end{align}$$

Я збираюся зупинитися тут, бо розширення дошкульно виписати і зовсім не просвітницькі. Простіше написати комп’ютерну програму, щоб це зробити. Але на даний момент ви повинні бачити, що підхід до виключення непереборний. Він включає терміни, кожен з яких також дуже складний. Для лексикону я розглянув вище .$2^{|M|}$$2^{|M|} \approx 3.2 \times 10^{60}$

Сканування всіх можливих стелажів

Я думаю, що це обчислювально простіше, тому що існує менше можливих стійок, ніж можливі підмножини мінімальних слів. Послідовно зменшуємо набір можливих$k$- стійкі стійки, поки ми не отримаємо набір стелажів, у яких немає слів. Для Scrabble (або Words With Friends) кількість можливих 7-плиткових стелажів становить десятки мільярдів. Підрахунок кількості тих, що не містять можливого слова, слід виконати з кількох десятків рядків коду R. Але я думаю, ви повинні вміти краще, ніж просто перераховувати всі можливі стелажі. Наприклад, "aa" - це мінімальне слово. Це негайно усуває всі стійки, що містять більше одного "a". Ви можете повторити з іншими словами. Пам'ять не повинна бути проблемою для сучасних комп'ютерів. 7-плитковий стелаж Scrabble потребує менше 7 байт. У гіршому випадку ми використали б кілька гігабайт для зберігання всіх можливих стійок, але я теж не думаю, що це гарна ідея. Хтось, можливо, захоче подумати над цим.

Програма Монте-Карло Р

# 
#  scrabble.R
#  
#  Created by Vincent Vu on 2011-01-07.
#  Copyright 2011 Vincent Vu. All rights reserved.
# 

# The Words With Friends lexicon
# http://code.google.com/p/dotnetperls-controls/downloads/detail?name=enable1.txt&can=2&q=
url <- 'http://dotnetperls-controls.googlecode.com/files/enable1.txt'
lexicon <- scan(url, what=character())

# Words With Friends
letters <- c(unlist(strsplit('abcdefghijklmnopqrstuvwxyz', NULL)), '?')
tiles <- c(9, 2, 2, 5, 13, 2, 3, 4, 8, 1, 1, 4, 2, 5, 8, 2, 1, 6, 5, 7, 4, 
           2, 2, 1, 2, 1, 2)
names(tiles) <- letters

# Scrabble
# tiles <- c(9, 2, 2, 4, 12, 2, 3, 2, 9, 1, 1, 4, 2, 6, 8, 2, 1, 6, 4, 6, 4, 
#            2, 2, 1, 2, 1, 2)


# Reduce to permutation equivalent words
sort.letters.in.words <- function(x) {
  sapply(lapply(strsplit(x, NULL), sort), paste, collapse='')
}

min.dict <- unique(sort.letters.in.words(lexicon))
min.dict.length <- nchar(min.dict)

# Find all minimal words of length k by elimination
# This is held constant across iterations:
#   All words in min.dict contain no other words of length k or smaller
k <- 1
while(k < max(min.dict.length))
{
  # List all k-letter words in min.dict
  k.letter.words <- min.dict[min.dict.length == k]

  # Find words in min.dict of length > k that contain a k-letter word
  for(w in k.letter.words)
  {
    # Create a regexp pattern
    makepattern <- function(x) {
      paste('.*', paste(unlist(strsplit(x, NULL)), '.*', sep='', collapse=''), 
            sep='')
    }
    p <- paste('.*', 
               paste(unlist(strsplit(w, NULL)), 
                     '.*', sep='', collapse=''), 
               sep='')

    # Eliminate words of length > k that are not minimal
    eliminate <- grepl(p, min.dict) & min.dict.length > k
    min.dict <- min.dict[!eliminate]
    min.dict.length <- min.dict.length[!eliminate]
  }
  k <- k + 1
}

# Converts a word into a letter distribution
letter.dist <- function(w, l=letters) {
  d <- lapply(strsplit(w, NULL), factor, levels=l)
  names(d) <- w
  d <- lapply(d, table)
  return(d)
}

# Sample N racks of k tiles
N <- 1e5
k <- 7
rack <- replicate(N,
                  paste(sample(names(tiles), size=k, prob=tiles), 
                        collapse=''))

contains.word <- function(rack.dist, lex.dist)
{
  # For each word in the lexicon, subtract the rack distribution from the 
  # letter distribution of the word.  Positive results correspond to the 
  # number of each letter that the rack is missing.
  y <- sweep(lex.dist, 1, rack.dist)

  # If the total number of missing letters is smaller than the number of 
  # wildcards in the rack, then the rack contains that word
  any(colSums(pmax(y,0)) <= rack.dist[names(rack.dist) == '?'])
}

# Convert rack and min.dict into letter distributions
min.dict.dist <- letter.dist(min.dict)
min.dict.dist <- do.call(cbind, min.dict.dist)
rack.dist <- letter.dist(rack, l=letters)

# Determine if each rack contains a valid word
x <- sapply(rack.dist, contains.word, lex.dist=min.dict.dist)

message("Estimate (and SE) of probability of no words based on ", 
        N, " trials:")
message(signif(1-mean(x)), " (", signif(sd(x) / sqrt(N)), ")")

Шрікант правий: дослідження в Монте-Карло - це шлях. Є дві причини. По-перше, відповідь сильно залежить від структури словника. Дві крайності - це (1) словник містить усі можливі однолітерні слова. У цьому випадку шанс не скласти слово в малюнку або більше літер дорівнює нулю. (2) Словник містить лише слова, утворені з однієї літери ( наприклад , "a", "aa", "aaa" тощо ). Шанс не скласти слово в малюнку з літер легко визначається і, очевидно, не нульовий. Будь-яка визначена відповідь закритої форми повинна містити всю структуру словника і була б справді жахливою і довгою формулою.$1$$k$

Друга причина полягає в тому, що MC справді здійсненний: ви просто повинні зробити це правильно. Попередній параграф дає підказку: не просто генеруйте слова навмання, а шукайте їх; натомість спершу проаналізуйте словник та скористайтеся його структурою.

Один із способів представляє слова у словнику як дерево. Дерево вкорінюється в порожній символ і гілляться на кожній букві аж донизу; його листя - це, звичайно, самі слова. Однак ми також можемо вставити в дерево всі нетривіальні перестановки кожного слова (до з них на кожне слово). Це можна зробити ефективно, оскільки не потрібно зберігати всі ці перестановки; тільки краї в дереві потрібно додати. Листя залишаються однаковими. Насправді, це може бути спрощено далі, наполягаючи на тому, що дерево слід дотримуватися за алфавітом .$k!-1$

Іншими словами, щоб визначити, чи є багато слов із символів у словнику, спершу впорядкуйте елементи у відсортованому порядку,$k$потім шукайте це відсортоване "слово" у дереві, побудованому з відсортованих представників слів у оригінальному словнику. Це насправді буде менше, ніж початкове дерево, оскільки воно об'єднує всі набори слів, еквівалентні сорту, такі як {stop, post, lons, opts, spot}. Справді, в словнику англійської мови цього класу слів ніколи б не було досягнуто, оскільки "так" було б знайдено першим. Побачимо це в дії. Відсортований мультисет "opst"; "o" буде гілкою на всі слова, що містять лише літери {o, p, ..., z}, "p" буде гіллям на всі слова, що містять лише {o, p, ..., z} і щонайбільше одне "о", і, нарешті, "s" розгалужиться на лист "так"! (Я припускав, що жоден із правдоподібних кандидатів "о", "оп", "

Необхідна модифікація для обробки макіяжів: я дозволю програмістам серед вас подумати над цим. Це не збільшить розмір словника (насправді має зменшити його); це трохи сповільнить обхід дерева, але не змінюючи його принципово. У будь-якому словнику, який містить однобуквене слово, наприклад англійське ("a", "i"), немає ніяких ускладнень: наявність підстановки означає, що ви можете сформувати слово! (Це натякає, що оригінальне запитання може бути не таким цікавим, як це звучить.)

Підсумок полягає в тому, що для одного пошуку словника потрібно (a) сортування -letter мультисети та (b) проходження не більше країв дерева. Час роботи - . Якщо ви вміло генеруєте випадкові мультисети в упорядкованому порядку (я можу придумати декілька ефективних способів зробити це), час роботи скорочується до . Помножте це на кількість ітерацій, щоб отримати загальний час роботи.k O ( k log ( k ) ) O ( k $k$$k$$O(k \log(k))$$O(k)$

Надіюсь, ви могли провести це дослідження за допомогою справжнього набору Scrabble та мільйона ітерацій за лічені секунди.

Підхід Монте-Карло

$k$$m$$k$$m_w$

$$1 - \frac{m_w}{m}$$

Прямий підхід

$S$$t_s$$s^\mbox{th}$$s^\mbox{th}$${m_a, m_b, ..., m_z}$$s^\mbox{th}$$m_a$$N$

$$N = \binom{n}{k}$$

і

$$t_s = \binom{n_a}{m_a} \binom{n_b}{m_b} ... \binom{n_z}{m_z}$$

(У тому числі вплив плитки підказки трохи складніше. Зараз я відкладу цю проблему.)

Таким чином, бажана ймовірність:

$$1 - \frac{\sum_s{t_s}}{N}$$