«derivative» etiketlenmiş sorular

Geri yayılımın softmax / çapraz entropi çıkış katmanı için nasıl çalıştığını anlamaya çalışıyorum. Çapraz entropi hata fonksiyonu: E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j sırasıyla nöron j'de hedef ve çıktı olarak ttt ve ile . Toplam, çıktı katmanındaki her nöronun üzerindedir. o j , softmax işlevinin bir sonucudur:ooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Yine, toplam, çıktı …

40 backpropagation  derivative  softmax  cross-entropy 

Coursera'da Machine Learning Stanford kursunu yapıyorum. Lojistik Regresyon bölümünde, maliyet fonksiyonu şudur: Sonra burada türetilir: Maliyet fonksiyonunun türevini almaya çalıştım ama tamamen farklı bir şey aldım. Türev nasıl elde edilir? Aracı adımlar nelerdir?

29 regression  logistic  gradient-descent  derivative 

Bu sorunun buraya ait olup olmadığından emin değilim, ancak optimizasyondaki degrade yöntemleriyle yakından ilgilidir, bu da burada konuyla ilgili görünüyor. Her neyse, başka bir topluluğun bu konuda daha iyi bir uzmanlığı olduğunu düşünüyorsanız, göç etmekten çekinmeyin. Kısacası, adım adım ters mod otomatik farklılaşma örneği arıyorum . Orada konuyla ilgili çok …

27 optimization  derivative  tensorflow  automatic-differentiation 

Kitap örüntü tanıma ve makine öğrenmesinde (formül 1.27), py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | burada,değişkenin değişmesine görekarşılık gelen.p x ( x ) p y ( y )x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) Kitaplar bunun nedeni, aralığına düşen gözlemlerin , küçük değerleri için aralığa dönüştürüleceğini söylüyor .δ x ( y , …

16 machine-learning  probability  self-study  derivative  jacobian 

Diyelim ki, konum, hız ve ivme için bazı ölçümler içeren bir veri kümem var. Hepsi aynı "koşu" dan geliyor. Doğrusal bir sistem kurabilirim ve tüm bu ölçümlere bir polinom sığdırabilirim. Ama aynısını spline ile yapabilir miyim? Bunu yapmanın 'R' yolu nedir? İşte sığdırmak istediğim bazı simüle veriler: f <- function(x) …

14 r  model  fitting  splines  derivative 

Gauss sürecinin (GP) türevinin başka bir GP olduğuna inanıyorum ve bu yüzden GP'nin türev denklemleri için kapalı form denklemleri olup olmadığını bilmek ister miyim? Özellikle, kare üslü (Gaussian olarak da adlandırılır) kovaryans çekirdeğini kullanıyorum ve Gaussian sürecinin türevi hakkında tahminlerde bulunmak istiyorum.

12 stochastic-processes  gaussian-process  derivative 

Goodfellow'un (2016) derin öğrenme kitabında, erken durmanın L2 düzenlenmesi ile eşdeğerliğinden bahsetti ( https://www.deeplearningbook.org/contents/regularization.html sayfa 247). Maliyet fonksiyonu jjj dereceden yaklaşımı şu şekilde verilir: J^( θ ) = J( w*) + 12( w - w*)T'H( w - w*)J^(θ)=J(w*)+12(w-w*)T'H(w-w*)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) 'H'HHf( w + ϵ ) = f( w ) + f'( w …

11 neural-networks  deep-learning  loss-functions  derivative 

Bazı noktalarda gördük diğerine göre bir olasılık ölçü Radon Nikodym türevinin kullanımı, özellikle bu keyfi bir parametre için bir model olasılığı ölçü türevidir Kullback-Leibler sapma bölgesi gerçek parametresine :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Bunların her ikisi de bir parametre değerine bağlı veri noktaları uzayında olasılık ölçümleri olduğunda: .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) Kullback-Leibler sapmasında veya …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Sinir ağlarının (NN) belirli varsayımlar altında (hem ağda hem de fonksiyonda yaklaşık olarak) hem fonksiyonlara hem de türevlerine evrensel yakınlaştırıcılar olarak kabul edilebileceğini anlıyorum. Aslında, basit ama önemsiz olmayan fonksiyonlar (örneğin polinomlar) üzerinde bir dizi test yaptım ve görünüşe göre onları ve ilk türevlerini iyi tahmin edebiliyorum (bir örnek aşağıda …

11 machine-learning  neural-networks  function  derivative 

Andrew Ng'in makine öğrenimi kursunda şu formülü kullanıyor: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T ve aşağıda gösterilen hızlı bir kanıt yapar: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T …

10 machine-learning  matrix  derivative