Dropout ve drop connect arasındaki fark nedir?
AFAIK, bırakma, eğitim sırasında gizli düğümleri rastgele düşürür, ancak onları testte tutar ve damla bağlantılarını düşürür.
Ancak bağlantıları düşürmek gizli düğümleri düşürmekle eşdeğer değil mi? Düğümler (veya bağlantılar) sadece bir ağırlık seti değil mi?
Yanıtlar:
DropOut ve DropConnect her ikisi de sinir ağındaki birimlerin "birlikte uyarlanmasını" önlemeyi amaçlayan yöntemlerdir. Başka bir deyişle, birimlerin bunu yapmak için diğer nöronlara güvenmek yerine özellikleri girdilerinden bağımsız olarak çıkarmasını istiyoruz.
Bunun gibi çok katmanlı bir ileri beslemeli ağımız olduğunu varsayalım (topoloji gerçekten önemli değil). Orta katmandaki sarı gizli birimlerden uyarlanıyoruz.
DropOut'u uygulamak için, birimlerin bir alt kümesini rastgele seçer ve girdiden bağımsız olarak çıktılarını sıfıra sabitleriz; bu, birimleri etkili bir şekilde modelden kaldırır. Her eğitim örneğini sunduğumuzda farklı birimler alt kümesi rastgele seçilir.
Aşağıda iki olası ağ yapılandırması verilmiştir. İlk sunumda (solda) 1. ve 3. birimler devre dışı bırakılır, ancak 2. ve 3. birimler bir sonraki sunumda rastgele seçilmiştir. Test zamanında, tüm ağı kullanıyoruz, ancak hepsinin artık aktif hale gelebileceğini telafi etmek için ağırlıkları yeniden ölçeklendiriyoruz (örneğin, düğümlerin yarısını düşürürseniz, ağırlıklar da yarıya indirilmelidir).
DropConnect benzer şekilde çalışır, ancak düğümler yerine tek tek ağırlıkları devre dışı bırakmamız (yani, sıfıra ayarlamamız), böylece bir düğüm kısmen aktif kalabilir. Şematik olarak, şuna benzer:
Bu yöntemlerin ikisi de işe yarıyor, çünkü aynı anda birkaç modeli etkili bir şekilde eğitmenize izin veriyorlar, sonra test etmek için aralarında ortalama. Örneğin, sarı katmanın dört düğümü vardır ve bu nedenle 16 olası DropOut durumu (tümü etkin, # 1 devre dışı, # 1 ve # 2 devre dışı, vb.).
DropConnect, DropOut'un genelleştirilmesidir çünkü ünitelerden neredeyse her zaman daha fazla bağlantı olduğu için daha da olası modeller üretir. Bununla birlikte, bireysel bir denemede benzer sonuçlar elde edebilirsiniz. Örneğin, sağdaki DropConnect ağı, gelen tüm bağlantılar kaldırıldığından 2. Üniteyi etkili bir şekilde düşürdü.
Orijinal belgeler oldukça erişilebilir ve daha fazla ayrıntı ve ampirik sonuçlar içeriyor.
Evet, ancak ağırlıkların düşme açısından biraz farklıdırlar.
Bunlar DropConnect (sol) ve bırakma (sağ) formülleridir.
Bırakma aktivasyonlara maske uygularken, DropConnect ağırlıklara maske uygular.
DropConnect makalesi, bunun,
DropConnect, Bırakma'daki her çıkış birimi yerine her bağlantının p olasılığı ile kesilebildiği Bırakmanın genelleştirilmesidir.