Похідне від поперечної втрати ентропії у word2vec

Я намагаюся пропрацювати свій шлях через перший набір проблем навчального матеріалу онлайн-класу cs224d в Інтернеті, і у мене виникають проблеми з проблемою 3A: При використанні пропуску грамової моделі word2vec з функцією прогнозування softmax і функцією перехресної ентропії втрати ми хочемо обчислити градієнти відносно прогнозованих векторів слів. Отже, враховуючи функцію softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

та перехресна ентропійна функція:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

нам потрібно обчислити $\frac{\partial{CE}}{\partial{\hat{r}}}$

Мої кроки такі:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

тепер даний $w_k$ - один гарячий вектор, і я - правильний клас:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Це правильно чи це можна було би спростити далі? Я хочу спробувати переконатися, що я на вірному шляху, оскільки рішення задач не розміщуються в Інтернеті. Плюс правильність написання письмових завдань важлива для того, щоб вміти правильно виконувати завдання програмування.

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ можна переписати як зауважте, що обидві суми індексуються j, але це дійсно повинно бути 2 різних змінних. Це було б більш доречно що перекладається на $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$