Sinir ağlarında önyargı düğümünün önemi

Önyargı düğümünün modern sinir ağlarının etkinliği için ne kadar önemli olduğunu merak ediyorum. Sadece birkaç girdi değişkeni olan sığ bir ağda önemli olabileceğini kolayca anlayabiliyorum. Bununla birlikte, derin öğrenme gibi modern sinir ağları, belirli bir nöronun tetiklenip tetiklenmediğine karar vermek için genellikle çok sayıda girdi değişkenine sahiptir. Bunları örneğin LeNet5 veya ImageNet'ten kaldırmanın gerçek bir etkisi olur mu?

neural-networks deep-learning bias-node

— pir
kaynak

@gung - Başlığı "önyargı düğümü" ifadesini kullanmak için düzenlediğinizi gördüm. Bu unvanı neden tercih ettiğinizi merak ediyorum? Bu kullanımı daha önce hiç duymamıştım. Ayrıca, önyargı bir ağda ayrı bir düğüm olmadığında "düğüm" kelimesini kullanmak kafa karıştırıcı gibi görünmektedir.

— pir

Beğenmediyseniz, düzenlemeyi özür dilerim. Ben yıllardır w / YSA oynamadı rağmen bazı adı oldukça standart olduğunu düşündüm & bazı yerine "önyargı nöron" diyoruz. FWIW, "önyargı" istatistik / ML'de biraz belirsiz; en yaygın olarak örnekleme dağılımı parametrenin gerçek değeri üzerinde merkezlenmeyen bir tahmin ediciyi veya gerçek işlev / ortalamadan vb. ANN.

— gung - Monica'yı eski

Gerçek bir düğümdür - en azından herhangi birinin olması anlamında - ağda. Örneğin, bu görüntüdeki siyah düğümlere bakın .

— gung - Monica'yı

Tamam, bu mantıklı - "önyargı" nın oldukça belirsiz olduğu doğrudur. Açıklama için teşekkürler.

— pir

Nöronlar için yanlılık birimi üssel ateş gibi görünür, bu doğada olur.

— user3927612

Yanıtlar:

Önyargıların kaldırılması performansı kesinlikle etkileyecektir ve işte bu yüzden ...

Her nöron basit lojistik regresyon gibidir ve sahip $y=\sigma(W x + b)$ . Giriş değerleri ağırlıklar ile çarpılır ve sapma sigmoid fonksiyonundaki (tanh vb.) Başlangıçtaki ezme seviyesini etkiler, bu da istenen doğrusal olmama özelliğine yol açar.

Örneğin, tüm giriş pikselleri siyah olduğunda bir nöronun tetiklemesini istediğinizi varsayalım . ağırlığınız ne olursa olsun önyargı yoksa , $y\approx1$ $x\approx0$ $W$ nöron her zaman ateşleyecektir. $y=\sigma(W x)$ $y\approx0.5$

Bu nedenle, önyargı terimlerini kaldırarak sinir ağınızın performansını önemli ölçüde azaltabilirsiniz.

— Yannis Assael
kaynak

Teşekkürler, bu biraz mantıklı. Çoğu modern ağın aktivasyon fonksiyonu olarak ReLU kullanmasına rağmen (örneğin, paper.nips.cc/paper/4824-imagenet'e bakınız ), tüm giriş pikselleri siyah olduğunda net olması gerekiyorsa, bu yine de alakalı olabilir. ReLU, f (x) = maks (0, x) olarak tanımlanır.

— pir

kesinlikle! Aynı durum ...

— Yannis Assael

y \approx 1

$y\approx1$

x \approx 0

$x\approx0$

x \approx 0

$x\approx0$

y \approx 0.5

$y\approx0.5$

Teoriye katılırken, modern büyük ağlarla sıfır giriş elde etme şansının ihmal edilebilir olduğunu belirtmek gerekir. Bu kısmen neden - büyük olasılıkla tek nöron çıkışı bakmayanbirini derin ağlar - Bu da net bir 1 yangın isteyeyim varsayımına dayanır bırakma ağları regularizing için çok popüler.

— Max Gordon

@MaxGordon doğru. Bu cevap bu soru için geçerli değildir. Büyük bir ağdaki önyargıyı kaldırmayı deneyin ve çok az fark yarattığını göreceksiniz.

— Neil G

Sorunuzun özel bağlamındaki diğer cevaba katılmıyorum. Evet, küçük bir ağda bir sapma düğümü önemlidir. Bununla birlikte, büyük bir modelde, her bir düğüm tüm girdilerinin ortalama aktivasyonundan bir sapma düğümü oluşturabilen, bias girişlerinin kaldırılması çok az fark yaratır, ki bu da büyük sayılar kanunu tarafından kabaca normal olacaktır. İlk katmanda, bunun gerçekleşme yeteneği giriş dağılımınıza bağlıdır. Örneğin MNIST için, girdinin ortalama aktivasyonu kabaca sabittir.

Küçük bir ağda, elbette bir önyargı girişine ihtiyacınız vardır, ancak büyük bir ağda, kaldırılması neredeyse hiçbir fark yaratmaz. (Ama neden kaldırsın ki?)

— Neil G
kaynak

Yeterince üne sahip olsaydım @ NeilG'nin cevabı hakkında yorum yapardım, ama ne yazık ki ...

Bu konuda sana katılmıyorum Neil. Diyorsun:

... çok sayıda yasa tarafından kabaca normal olacak olan tüm girdilerinin ortalama aktivasyonu.

Buna karşı çıkarım ve çok sayıda yasanın tüm gözlemlerin birbirinden bağımsız olmasını gerektirdiğini söyleyebilirim. Sinir ağları gibi bir şeyde durum böyle değildir. Her aktivasyon normal olarak dağıtılmış olsa bile, bir giriş değerini olağanüstü yüksek olarak gözlemlerseniz, diğer tüm girişlerin olasılığını değiştirir. Bu nedenle, "gözlemler", bu durumda girdiler bağımsız değildir ve çok sayıda yasa geçerli değildir.

Cevabınızı anlamadım sürece.

— ArturJ
kaynak