Word2vec'de çapraz entropi kaybının türevi

Ben cs224d çevrimiçi stanford sınıfı ders materyali ilk sorun seti ile yoluma çalışıyorum ve sorun 3A ile bazı sorunlar yaşıyorum: Softmax tahmin fonksiyonu ve çapraz entropi kaybı fonksiyonu ile atlama gram word2vec modeli kullanırken, biz degradeleri tahmin edilen sözcük vektörlerine göre hesaplamak istiyorum. Softmax fonksiyonu göz önüne alındığında:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

ve çapraz entropi fonksiyonu:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

\ frac {\ partial {CE}} {\ partial {\ hat {r}}} hesaplamamız gerekiyor$\frac{\partial{CE}}{\partial{\hat{r}}}$

Adımlarım aşağıdaki gibidir:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

şimdi verilen $w_k$ sıcak bir vektör ve ben doğru sınıf:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Bu doğru mu yoksa daha basitleştirilebilir mi? Sorun seti çözümleri çevrimiçi olarak yayınlanmadığından doğru yolda olduğumdan emin olmak istiyorum. Ayrıca, yazılı ödevleri doğru yapmak, programlama ödevlerini doğru bir şekilde yapabilmek için önemlidir.

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ olarak yeniden yazılabilir dikkat edin, toplamların her ikisi de j ile indekslenir, ancak gerçekten 2 farklı değişken olmalıdır. Bu daha uygun çevirir $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$