Skipgram word2vec için degradeler

Stanford NLP derin öğrenme sınıfının yazılı ödev problemlerindeki problemleri yaşıyorum http://cs224d.stanford.edu/assignment1/assignment1_soln

3a'nın cevabını anlamaya çalışıyorum, burada orta kelime için vektörün türevini arıyorlar.

Tahmin edilen bir kelime vektörü verildiğini varsayın $v_{c}$skipgram için orta kelimeye c karşılık gelir ve word2vec modellerinde bulunan softmax fonksiyonu ile kelime tahmini yapılır.

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

Burada ağırlık anlamına gelir w-inci kelime ve$u_w$(w = 1,.., W) sözcük dağarcığındaki tüm kelimeler için “çıktı” sözcük vektörleridir. Bu öngörüye çapraz entropi maliyetinin uygulandığını ve o kelimesinin beklenen kelime olduğunu varsayalım .

Nerede $U = [u_1,u_2, · · · ,u_W ]$ tüm çıkış vektörlerinin matrisidir ve $\hat{y}$kelimelerin softmax tahmininin sütun vektörü ve y de bir sütun vektörü olan tek sıcak etiket olmalıdır.

Çapraz entropi nerede $CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

Yani merkez vektör için gradyanın cevabı $\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

Birisi bana bunun için gerekli adımları gösterebilir mi? Bu soruyu referans olarak kullanıyorum word2vec'deki çapraz entropi kaybının türevi ama özellikle$U^T(\hat{y} − y).$ temsilidir.

İlk olarak, sahip olduğumuz şeyi ve farklı vektörlerin şekilleri hakkındaki varsayımlarımızı ortaya koyalım. İzin Vermek,

1. $|W|$ kelime haznesi içindeki kelime sayısı
2. $y$ ve $\hat{y}$ şeklin sütun vektörleri olmak $|W|$ x 1
3. $u_i$ ve $v_j$ şeklin sütun vektörleri olun $D$ X 1 ($D$ = düğünlerin boyutu)
4. $y$ şeklin tek sıcak kodlanmış sütun vektörü $|W|$ x 1
5. $\hat{y}$ softmax tahmin sütunu vektörü ol $|W|$ x 1
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. Çapraz entropi kaybı: $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$ şunlardan oluşan bir matris olmak $u_k$ sütun vektörleri.

Şimdi yazabiliriz

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ Basitleştirme, $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ Şimdi biliyoruz ki $y$ tek-sıcak kodlu olduğundan, tüm öğeleri sıfırdır, örneğin, $k^{th}$indeks. Yani, yukarıdaki toplamda sadece bir tane sıfır olmayan terim var$y_k$ve toplamdaki diğer tüm terimler sıfırdır. Böylece maliyet ayrıca şu şekilde de yazılabilir: $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ Not: yukarıdaki $y_k$ 1'dir.

Çözme $\frac{\partial J}{\partial v_c}$ :

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

Hangi gibi yeniden düzenlenebilir:

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ Tanım (6) kullanarak yukarıdaki denklemi şu şekilde yeniden yazabiliriz: $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

Şimdi bunun Matrix notasyonunda nasıl yazılabileceğini görelim.

1. $u_k$ Matris vektör çarpımı olarak yazılabilir: $U.y$
2. Ve $\sum_{w=1}^W (\hat{y}_w u_w)$ vektörlerin doğrusal bir dönüşümüdür $u_w$ içinde $U$ tarafından ölçeklendirildi $\hat{y}_w$sırasıyla. Bu tekrar şöyle yazılabilir$U.\hat{y}$

Yani her şey kısa ve öz bir şekilde şöyle yazılabilir:

$$U[\hat{y} -y]$$

Son olarak, $u_i$sütun vektörleri olmak. Eğer satır vektörleri ile başlasaydık,$U^T[\hat{y} -y]$, aradığınızla aynı.