Як згладжується Кнайсер-Ней, як обробляються невидимі слова?

З того, що я бачив, формула згладжування (другого порядку) Кнайзера-Нея так чи інакше подається як

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

з нормуючим коефіцієнтом $\lambda(w_{n-1})$ заданим як

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

і ймовірність продовження слова w $P_{cont}(w_n)$$w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

де є число контекстів ш був помічений в або, простіше, число різних слів ∙ які передують дане слово $N_{1+}\left(\bullet w\right)$$w$$\bullet$$w$ . З того, що я зрозумів, формула може застосовуватися рекурсивно.

Тепер це добре обробляє відомі слова у невідомому контексті для різної n-грамової довжини, але те, що не пояснює, що робити, коли є слова, які не є словниками. Я спробував дотримуватися цього прикладу, який стверджує, що на етапі рекурсії для уніграм, . Потім документ використовує це - цитуючи Чена та Гудмена - для обгрунтування вищезгаданої формули якP 1 K N (w)=Pcont(w$P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$$P^1_{KN}(w) = P_{cont}(w)$ .

Я не бачу, як це працює за наявності невідомого слова хоча. У цих випадках P c o n t ( невідомо ) = $w = \text{unknown}$ оскільки, очевидно, невідоме слово не продовжує нічого щодо навчального набору. Так само число n-грамів будеC(wn-1,невідомо)=0.$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Крім того, цілий $\sum_{w'} C\left(w_{n-1}, w'\right)$ може бути нульовим, якщо зустрінеться послідовність невідомих слів - скажімо, триграма слів OOD.

Що я пропускаю?

Дан Юрафський опублікував розділ про моделі N-Gram, де трохи розповідає про цю проблему:

Після закінчення рекурсії уніграми інтерполюються з рівномірним розподілом:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Якщо ми хочемо включити невідоме слово <UNK>, воно просто включається як звичайний запис словника з підрахунком нуля, а значить, його ймовірність буде такою:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

$\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

то невідомому слову просто присвоюється частка знижки, тобто:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

I'm not confident about this answer at all, but wanted to get it out there in case it sparks some more thoughts.

Update: Digging around some more, it seems like $\epsilon$ is typically used to denote the empty string (""), but it's still not clear how this affects the calculation of $\lambda$. $\frac{d}{|V|}$ is still my best guess

Існує багато способів навчити модель, <UNK>хоча Юрафський пропонує вибрати ті слова, які трапляються дуже мало разів у навчанні, і просто змінити їх <UNK>.

Тоді просто тренуйте ймовірності, як зазвичай.

Дивіться це відео, починаючи з 3:40 -

https://class.coursera.org/nlp/lecture/19

Іншим підходом є просто розглядати слово як <UNK>перший раз, коли воно бачиться на тренуванні, хоча, з мого досвіду, цей підхід призначає занадто багато маси ймовірностей <UNK>.

Just a few thoughts, I am far from being an expert on the matter so I do not intend to provide an answer to the question but to analyze it.

The simple thing to do would be to calculate $\lambda(\epsilon)$ by forcing the sum to be one. This is reasonable since the empty string is never seen in the training set (nothing can be predicted out of nothing) and the sum has to be one. If this is the case, $\lambda(\epsilon)$ can be estimated by:

Another option would be to estimate the <unk> probability with the methods mentioned by Randy and treating it as a regular token.

I think this step is made to ensure that the formulas are consistent. Notice that the term $\frac{\lambda(\epsilon)}{|V|}$ does not depend on the context and assigns fixed values to the probabilities of every token. If you want to predict the next word you can prescind this term, on the other hand if you want to compare the Kneser - Ney probability assigned to each token under two or more different contexts you might want to use it.