Bırakma düzenlenmesi basit terimlerle nasıl açıklanır?

Bırakmayı açıklayacak yarım sayfanız varsa , nasıl ilerlersiniz? Bu tekniğin arkasındaki mantık hangisidir?

Bırakma makalesinin özeti mükemmel bir şekilde kullanılabilir.

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, " Bırakma: Yapay Sinir Ağlarının Aşırı Takılmasını Önlemenin Basit Bir Yolu ", Makine Öğrenimi Araştırmaları Dergisi , 2014.

Çok sayıda parametreye sahip derin sinir ağları çok güçlü makine öğrenme sistemleridir. Bununla birlikte, bu tür ağlarda aşırı takılma ciddi bir sorundur. Büyük ağların kullanımı da yavaştır ve test sırasında birçok farklı büyük sinir ağının tahminlerini birleştirerek aşırı takmayla baş etmeyi zorlaştırır. Bırakma, bu sorunu çözmek için bir tekniktir. Ana fikir, eğitim sırasında birimleri (bağlantıları ile birlikte) sinir ağından rastgele düşürmektir. Bu, ünitelerin çok fazla uyum sağlamasını önler. Eğitim sırasında, üstel sayıda farklı "inceltilmiş" ağdan çıkarma örnekleri. Test zamanında, sadece daha küçük ağırlıklara sahip tek bir inceltilmemiş ağ kullanarak tüm bu inceltilmiş ağların tahminlerinin ortalamasının etkisini tahmin etmek kolaydır. Bu, aşırı takmayı önemli ölçüde azaltır ve diğer düzenlileştirme yöntemlerine göre önemli gelişmeler sağlar. Bırakmanın görme, konuşma tanıma, belge sınıflandırma ve hesaplama biyolojisindeki denetimli öğrenme görevleri üzerindeki sinir ağlarının performansını geliştirdiğini ve birçok kıyaslama veri setinde en son sonuçları elde ettiğini gösteriyoruz.

Makaleyi okursanız, okulu bırakma bağlamında birlikte uyum sağlama davranışının ne anlama geldiğinin bir açıklamasını bulacaksınız.

Standart bir sinir ağında, her bir parametre tarafından alınan türev, nasıl değişmesi gerektiğini söyler, böylece tüm diğer birimlerin ne yaptığı göz önüne alındığında, nihai kayıp fonksiyonu azaltılır. Bu nedenle, birimler diğer birimlerin hatalarını giderecek şekilde değişebilir. Bu karmaşık ko-adaptasyonlara yol açabilir. Bu da aşırı uyuma neden olur, çünkü bu ortak uyarlamalar görünmeyen verilere genelleme yapmaz. Her gizli birim için, bırakmanın diğer gizli birimlerin varlığını güvenilmez hale getirerek birlikte uyarlamayı önlediğini varsayıyoruz. Bu nedenle, gizli bir birim hatalarını düzeltmek için diğer belirli birimlere güvenemez. Diğer gizli birimler tarafından sağlanan çok çeşitli bağlamlarda iyi performans göstermelidir. Bu etkiyi doğrudan gözlemlemek için,

Bu cevap, bırakmanın nasıl uygulandığını görmek isteyen okuyucular için Sycorax'ın harika cevabının bir devamıdır .

Yapay sinir ağlarında bırakma uygulandığında, eğitim zamanında nöronların bir kısmının devre dışı bırakıldığı gerçeğini telafi etmek gerekir. Bunu yapmak için iki ortak strateji vardır:

1. Eğitim aşamasında bırakma durumunu tersine çevirme:

2. Test zamanında aktivasyonu ölçeklendirme:

/pO olur Öngörünün kodu, eğitimden taşınır *p:

Bu üç slaytlar gelen ders 6 dan Görsel Tanımasını Evrişimsel Sinir Ağları: Stanford CS231n .

Bir süreliğine (giriş verilerinin bir kümesinde) bırakma, bir katmandaki bazı nöronları kapatır, böylece bu güncellemeler sırasında herhangi bir bilgiye katkıda bulunmazlar veya herhangi bir bilgi öğrenmezler ve daha fazla öğrenmek ve hatayı azaltmak için diğer aktif nöronlara düşer.

6 yaşındaki bir çocuğa okulu bırakmayı açıklamam gerekirse, şöyle: Bir sınıfta, bir öğretmen bazı sorular soruyor, ancak her zaman aynı iki çocuk hemen cevaplıyor. Şimdi öğretmen onlardan bir süre sessiz kalmalarını ve diğer öğrencilerin katılmasına izin vermelerini istiyor. Bu şekilde diğer öğrenciler daha iyi öğrenirler. Belki yanlış cevap verirler, ancak öğretmen bunları düzeltebilir (ağırlık güncellemeleri). Bu şekilde tüm sınıf (katman) bir konuyu daha iyi öğrenir.

Bırakma işlemine, bir özelliğin (veya bazı ara katmanlardaki gizli özellik) önemli olup olmadığına dair önceki bir olasılık olarak bakabilirsiniz. tüm parametre alanı boyunca).

Daha da önemlisi, bu sadece model uyumunu düzenlemenize değil, aynı zamanda çıkarım hakkında belirsizlik elde etmenize de izin verir. Bu tartışılmıştır tez ve makale (aynı zamanda bu Yarin Gal).