«gradient-descent» etiketlenmiş sorular

Yöntemin zero_grad()eğitim sırasında çağrılması gerekir. Ancak dokümantasyon pek yardımcı olmuyor | zero_grad(self) | Sets gradients of all model parameters to zero. Neden bu yöntemi çağırmamız gerekiyor?

115 python  neural-network  deep-learning  pytorch  gradient-descent 

PyTorch'un belgelerini okuyorum ve yazdıkları bir örnek buldum gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) burada x, y'nin oluşturulduğu bir başlangıç ​​değişkeni (3-vektör). Soru, gradyan tensörünün 0.1, 1.0 ve 0.0001 argümanları nelerdir? Belgeler bu konuda çok net değil.

112 neural-network  gradient  pytorch  torch  gradient-descent 

Kapalı. Bu soru Yığın Taşması yönergelerini karşılamıyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek mi istiyorsunuz? Yığın Taşması için konuya uygun olması için soruyu güncelleyin . 6 gün önce kapandı . Bu soruyu geliştirin Sıfırdan bir sinir ağı kurmaya çalışıyorum. Tüm AI literatüründe, ağın daha hızlı yakınlaşması için …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

Eğitim sırasında sık sık karşılaşılan bir olay olduğunu fark ettim NAN. Çoğu zaman, iç üründeki / tam bağlantılı veya şişen evrişim katmanlarındaki ağırlıklar tarafından ortaya çıkarılmış gibi görünmektedir. Bu, gradyan hesaplaması patladığı için mi oluyor? Yoksa bunun nedeni ağırlık başlatma mıdır (öyleyse, ağırlık başlatma neden bu etkiye sahiptir)? Yoksa giriş …

86 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

Kendi gradyan artırma algoritmamı yazmaya çalışıyorum. Orada gibi mevcut paketler anlıyoruz gbmve xgboost,ancak algoritma kendi yazarak nasıl çalıştığını anlamak istedik. irisVeri kümesini kullanıyorum ve sonucum Sepal.Length(sürekli). Kayıp fonksiyonum mean(1/2*(y-yhat)^2)(temelde önde 1/2 ile ortalama kare hatası), bu yüzden karşılık gelen gradyan sadece kalıntıdır y - yhat. Tahminleri 0'da başlatıyorum. library(rpart) data(iris) …

10 r  machine-learning  gradient-descent  gbm  boosting