Sinir ağındaki en uygun katman sayısı?


13

Bir Sinir Ağı (İleri Besleme, Geri Yayılma veya RNN) uygulanırken oluşturulacak optimum katman sayısına nasıl karar verilir?

Yanıtlar:


8

PruningSadece aynı amaç için kullanılan sinir ağlarında adı verilen bir teknik vardır .

Budama, gizli katmanların sayısı üzerinde yapılır. İşlem, karar ağaçlarının budama sürecine çok benzer. Budama işlemi aşağıdaki gibi yapılır:

  • Standart bir eğitim algoritması ile geniş, yoğun bağlantılı bir ağ eğitin
  • Ağırlıkların göreceli önemini değerlendirmek için eğitimli ağı inceleyin
  • En az önemli ağırlık (lar) ı kaldırın
  • budanmış ağı yeniden eğit
  • Memnun olana kadar 2-4. Adımları tekrarlayın

Bununla birlikte, sinir ağlarını budamak için birkaç optimize edilmiş yöntem vardır ve aynı zamanda çok aktif bir araştırma alanıdır .


Simetrik bir yaklaşım, ağ mimarisine uygulanan yaygın "şebeke araştırmasıdır". Küçük (çok hızlı) başlayın ve otomatik olarak daha büyük mimarileri deneyin. Bütün bunlar sadece kaba kuvvet ...
Eric Platon

Izgara arama için @EricPlaton +1. ML algos hipertansiyonunda çok kullanışlıdır. Ancak, hesaplama açısından çok yoğun değil mi?
Dawny33

1
Evet, pahalı. Ancak, küçük başlayabildiğimizde, ilk aşamalar oldukça hızlı gidebilir ve neyi hedefleyeceği hakkında daha iyi bir fikir verebilir.
Eric Platon

@EricPlaton "Izgara Arama" kendi için ayrı bir cevabı hak eder :)
Dawny33

Bunu düşündüm, ama sonra iki alternatif ve belki de “eşit derecede doğru” cevaplar olurdu ... Okuyucu için en iyinin cevabı bir olarak derlemek olduğunu düşündüm.
Eric Platon

0

Hiperparametrelerin bir fonksiyonu olarak kaybı (veya herhangi bir şeyi) optimize etmenin genel bir yöntemi olarak bayes hiperparametre optimizasyonuna bakabilirsiniz. Ancak genel olarak ağınızın derinliği ne kadar iyi olursa, katman sayısının bir fonksiyonu olarak kaybı optimize etmek çok eğlenceli bir şey değildir.

Izgara araması ve biraz sağduyu (birçok örnek görerek öğrenildiği gibi) en iyi bahsiniz olmalıdır.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.