“Bırakma” tekniği nedir?

"Bırakma" yöntemi hangi amaca hizmet eder ve sinir ağının genel performansını nasıl iyileştirir?

Bırakma, her bir veri noktasının yalnızca nöronların rastgele bir alt kümesine uyacak şekilde kullanıldığı anlamına gelir. Bu, sinir ağını bir topluluk modeli gibi yapmak için yapılır.

Yani, rastgele bir ormanın birçok bireysel karar ağacının sonuçlarını birlikte ortalaması gibi, bırakma kullanılarak eğitilen bir sinir ağını, birçok bireysel sinir ağının sonuçlarının ortalamasını almak olarak görebilirsiniz ('sonuçların her katmandaki aktivasyon anlamına geldiği anlaşılır. , yalnızca çıktı katmanından ziyade).

Sinir ağının kesilmesini öneren orijinal kağıt ¹ şu şekildedir: Bırakma: Sinir ağlarının aşırı takılmasını önlemenin basit bir yolu . Bu küçük şey, bir cümlede Bırakma'nın ne yaptığını hemen hemen açıklıyor. Bırakma, egzersiz aşamasında nöron ağındaki nöronları rastgele seçip kaldırarak çalışır. Bırakma işleminin test sırasında uygulanmadığını ve elde edilen ağın öngörmenin bir parçası olarak bırakılmadığını unutmayın.

Nöronların bu rasgele çıkarılması / bırakılması, nöronların aşırı ko-adaptasyonunu önler ve bu şekilde ağın aşırı takılma olasılığını azaltır .

Antrenman sırasında nöronların rastgele çıkarılması aynı zamanda herhangi bir zamanda orijinal ağın sadece bir kısmının eğitildiği anlamına gelir. Bunun, birden fazla alt ağ türünde eğitim almanız gibi bir etkisi vardır, örneğin:

Sinir ağının bir çeşit topluluk tekniği olduğu fikrinin geldiği tüm ağın aksine, alt ağların bu tekrarlanan eğitiminden kaynaklanmaktadır. Yani alt ağların eğitimi, çok sayıda, nispeten zayıf algoritmaların eğitilmesine benzer / modelleri ve bunları tek tek parçalardan daha güçlü bir algoritma oluşturmak için birleştirir.

Referanslar:

_{¹ : Srivastava, Nitish ve ark. "Bırakma: Sinir ağlarının aşırı sığmasını önlemek için basit bir yol." Makine Öğrenimi Araştırmaları Dergisi 15.1 (2014): 1929-1958.}

Sorularınızı bırakma belgesinde ve Coursera sınıfında Geoffrey Hinton'un fikirlerini kullanarak cevaplamaya çalışacağım.

"Bırakma" yöntemi hangi amaca hizmet eder?

Çok sayıda parametreye sahip derin sinir ağları çok güçlü makine öğrenme sistemleridir. Bununla birlikte, aşırı sığdırma bu tür ağlarda ciddi bir sorundur. Büyük ağların kullanımı da yavaştır ve test sırasında birçok farklı büyük sinir ağının tahminlerini birleştirerek aşırı takmayla başa çıkmayı zorlaştırır. Bırakma, bu sorunu çözmek için bir tekniktir.

bu yüzden aşırı uydurma problemini (yüksek varyans) ele alan bir düzenleme tekniği.

Genel performansı nasıl geliştirir?
daha iyi genelleme ile ve aşırı uydurma tuzağına düşmemek.

Burada harika cevaplar var. Bırakma için verebileceğim en basit açıklama, eğitim sırasında nöronların çok fazla "birlikte adapte olmalarını" durdurmak için bazı nöronları ve ağla olan bağlantılarını rastgele hariç tutmasıdır. Her bir nöronun daha genel olarak uygulanmasını sağlama etkisine sahiptir ve büyük sinir ağları için aşırı takmayı durdurmak için mükemmeldir.