Sinir ağım Öklid mesafesini bile öğrenemiyor

Bu yüzden kendime sinir ağlarını öğretmeye çalışıyorum (regresyon uygulamaları için, kedilerin resimlerini sınıflandırmak değil).

İlk deneylerim, bir FIR filtresi ve Ayrık Fourier Dönüşümü ("önce" ve "sonra" sinyalleri üzerinde eğitim) uygulamak için bir ağı eğitiyordu, çünkü bunların ikisi de etkinleştirme işlevi olmayan tek bir katman tarafından uygulanabilen doğrusal işlemlerdir. Her ikisi de iyi çalıştı.

O zaman abs()bir genlik spektrumu ekleyip ekleyemeyeceğimi görmek istedim . İlk önce gizli katmanda kaç düğüme ihtiyaç duyulacağını düşündüm ve 3 ReLU'nun kaba bir yaklaşım için yeterli olduğunu fark ettim abs(x+jy) = sqrt(x² + y²), bu yüzden bu işlemi yalnız karmaşık sayılar üzerinde tek başına test ettim (2 giriş → 3 ReLU düğümü gizli katmanı → 1 çıktı). Bazen çalışır:

Ama çoğu zaman denediğimde, yerel bir minimumda takılıyor ve doğru şekli bulamıyor:

Keras'taki tüm optimize edicileri ve ReLU varyantlarını denedim, ancak çok fazla fark yaratmıyorlar. Bunun gibi basit ağların güvenilir bir şekilde birleşmesi için yapabileceğim başka bir şey var mı? Yoksa sadece yanlış bir tavırla mı yaklaşıyorum ve problemde gerekenden daha fazla düğüm atmanız gerekiyor ve eğer yarısı ölürse büyük bir anlaşma olarak değerlendirilmiyor mu?

Çıktı, bir veya daha fazla nöronunuzun öldüğünü güçlü bir şekilde gösteriyor gibi görünüyor (veya belki de iki nöronunuz için ağırlık köprüsü birleşti). 3 Relu ile, daha makul bir çözüme yaklaştığınızda merkezde 3 gölgeli bölünme olduğunu görebilirsiniz. Her bir nöronun çıkış değerlerini kontrol ederek örneklerinizin büyük bir çoğunluğu için ölü kalıp kalmadığını kontrol ederek bunun doğru olup olmadığını kolayca doğrulayabilirsiniz. Alternatif olarak, iki nöronun aynı ağırlık çiftine çöküp çökmediğini görmek için, kendi nöronlarına göre gruplandırılmış 2x3 = 6 nöron ağırlığının tümünü çizebilirsiniz.

Bunun olası bir nedeninin $x+iy$ bir koordinata doğru eğrilmişse, ör. $x\gg y$, bu durumda kimliği yeniden oluşturmaya çalışıyorsunuz. $abs(x+iy)\approx x$. Bunu düzeltmek için burada yapabileceğiniz çok fazla bir şey yok. Bir seçenek denediğiniz gibi daha fazla nöron eklemektir. İkinci seçenek, sigmoid gibi sürekli bir aktivasyonu veya üstel gibi sınırsız bir şeyi denemektir. Ayrılmayı da deneyebilirsiniz (örneğin% 10 olasılıkla). Keras'ta düzenli bırakma uygulamasını kullanabilirsiniz, bu da 3 nöronunuzun hepsi düştüğünde durumları görmezden gelmek için yeterince akıllıdır.