İnsanlar neden MLP ile birlikte daha derin RBF veya RBF kullanmıyor?

Radyal Temel Fonksiyon Sinir Ağlarına baktığımda, insanların sadece 1 gizli katman kullanımını önerdiklerini fark ettim, oysa çok katmanlı algılayıcı sinir ağları ile daha fazla katman daha iyi kabul edilir.

RBF ağlarının geri yayılma sürümü ile eğitilebileceği göz önüne alındığında, daha derin RBF ağlarının çalışmamasının veya RBF katmanının derin MLP ağındaki sondan bir önceki veya ilk katman olarak kullanılamamasının herhangi bir nedeni var mı? (Sondan bir önceki katmana göre öğrenilen özellikler konusunda eğitilebilmesi için sondan bir önceki katmanı düşünüyordum)

machine-learning neural-networks rbf-network

— user1646196
kaynak

Ben bir NN uzmanı değilim, ama benim izlenimim standart ileri beslemeli NN'lerde, birden fazla gizli katmanın genellikle fazla bir şey eklememesi.

— gung - Monica'yı eski

Bu, NN araştırmasının ilk günlerinde yapıldı, ancak şimdi daha fazla katman tipik olarak daha yüksek performans (derin öğrenme) için reçetedir. Mevcut favori yaklaşımın, mümkün olduğunca çok katman, doygunluğu önlemek için sigmoidal aktivasyonlar yerine bırakma ve softmax yoluyla düzenlileştirme olduğunu düşünüyorum. (Ama teknikler konusunda yanılıyor olabilirim). Bence bazı insanlar daha iyi sonuçlar almak için yinelemeli derinleştirmeyi de kullanıyor. Ayrıca Google, 100 katmanlı bir ağla 2014 yılında imageNet'te en son teknolojiyi aldı.

— user1646196

Temel sorun, RBF'lerin a) çok doğrusal olmayan, b) boyut küçültme yapmamasıdır.

a) RBF'ler her zaman gradyan inişinden ziyade k-araçları ile eğitilmiştir.

Derin NN'lerde ana başarının, anahtar parçalardan birinin boyut küçültme olduğu konvektör ağları olduğunu söyleyebilirim: 128x128x3 = 50.000 girişle çalışmasına rağmen, her nöronun sınırlı bir alıcı alanı vardır ve her katmanda çok daha az nöron vardır Bir MLP'de belirli bir katmanda her bir nöron bir özelliği / boyutu temsil eder), böylece boyutu (katmandan katmana giderek) sürekli olarak azaltmış olursunuz.

Her ne kadar RBF kovaryans matrisini uyarlanabilir hale getirebilir ve boyut küçültme yapabilirse de, bu da eğitilmesini daha da zorlaştırır.

— seanv507
kaynak

Son zamanlarda RBF ağlarını eğitmek için bir geri yayılma algoritması öneren bir makaleyi okudum. Bu onların derin bir ağda son katman olarak bir RBF'ye sahip olmanın bir yararı olabilir mi? Bu formda derin ağın geri kalanının

— RBF'nin

belki makaleye bağlantı vermelisiniz ve sonra insanlar daha bilinçli cevaplar verebilir. Herhangi bir fayda görmüyorum ... RBF'nin çok doğrusal olmadığı göz önüne alındığında (ve örneğin sigmoidler relu ile değiştirildi çünkü çok doğrusal olmayan bir eğimdi ...). Ne insanlar üstte standart mlp ile conv net ile tren, daha sonra mlp atmak ve svm kullanın

— seanv507

Makale "Seçmeli geri yayılımlı RBF ağlarını eğitme" olup, buradan okuyabileceğinizden veya bir ödeme duvarı sciencedirect.com/science/article/pii/S0925231203005411 olup olmadığından emin değil . Doğrusal olmama nedeniyle sigmoidlerin yerini relu ile değiştirdiğinin farkında değildim, ancak artan doğrusal olmama durumunun nasıl ortadan kaldırılacağını görebildiğim için. Cevabı kabul edilen olarak işaretleyeceğim :)

— user1646196