Derin öğrenme modelleri parametrik midir? Veya parametrik olmayan?

Tüm derin öğrenme modellerine tek bir cevap olabileceğini düşünmüyorum. Derin öğrenme modellerinden hangileri parametrik, hangileri parametrik değildir ve neden?

Derin öğrenme modelleri genellikle parametriktir - aslında eğitim sırasında ayarlanan her ağırlık için bir tane olmak üzere çok sayıda parametreye sahiptirler.

Ağırlık sayısı genellikle sabit kaldıklarından, teknik olarak sabit serbestlik derecelerine sahiptirler. Bununla birlikte, genellikle çok fazla parametre olduğundan parametrik olmayanları taklit ettikleri görülebilir.

Gauss süreçleri (örneğin) her bir gözlemi yeni bir ağırlık olarak kullanır ve nokta sayısı sonsuza giderken ağırlık sayısını da (hiper parametrelerle karıştırılmamalıdır) kullanır.

Genel olarak söylüyorum çünkü her modelin çok farklı lezzetleri var. Örneğin düşük rütbeli GP'lerin veriler tarafından çıkarılan sınırlı sayıda parametresi vardır ve eminim birisi bazı araştırma grubunda parametrik olmayan bir dnn türü yapıyor!

Standart bir derin sinir ağı (DNN), teknik olarak konuşursak, sabit sayıda parametreye sahip olduğundan parametriktir. Ancak, çoğu DnNS o kadar çok parametre var onlar olabilir parametrik olmayan olarak yorumlanabilir ; sonsuz genişlik sınırında derin bir sinir ağının parametrik olmayan bir model olan bir Gauss süreci (GP) olarak görülebileceği kanıtlanmıştır [Lee ve ark., 2018].

Bununla birlikte, bu cevabın geri kalanında DNN'leri parametrik olarak katı bir şekilde yorumlayalım.

Parametrik derin öğrenme modellerine bazı örnekler :

• Derin otoregresif ağ (DARN)
• Sigmoid inanç ağı (SBN)
• Tekrarlayan sinir ağı (RNN), Pixel CNN / RNN
• Varyasyonel otomatik enkoder (VAE), diğer derin gizli Gauss modelleri, örneğin DRAW

Parametrik olmayan derin öğrenme modellerine bazı örnekler :

• Derin Gauss süreci (GP)
• Tekrarlayan GP
• Durum alanı GP
• Hiyerarşik Dirichlet süreci
• Basamaklı Hint Büfe süreci

Shakir Mohamed'in derin üretken modeller hakkındaki eğitiminden görüntü .

Referanslar:

• "Gauss Süreçleri Olarak Derin Sinir Ağları" (Lee ve ark., 2018)

Deutsch ve Journel (1997, s. 16-17) "parametrik olmayan" teriminin yanıltıcı doğasını seçti. ≪ ... geleneksel ama yanıltıcı niteleyici "parametrik olmayan" yerine gösterge tabanlı modeller için "parametre açısından zengin" modelinin korunmasını önerdiler.

"Parametre zengin" doğru bir tanım olabilir, ancak "zengin" her zaman garanti edilmeyebilecek olumlu bir görüş veren duygusal bir yüklemeye sahiptir (!).

Toplu olarak sinir ağlarına, rasgele ormanlara ve benzerlerine hepsi "parametrik olmayan" olarak atıfta bulunan bazı profesörler devam edebilir. (Özellikle relu aktivasyon fonksiyonu yayılması ile) sinir ağları artmış opaklık ve parçalı yapısı bunları olmayan parameteric- yapar vari .

Derin öğrenme modelleri parametrik olarak düşünülmemelidir. Parametrik modeller, verileri oluşturan dağılımlar hakkında önceden varsayıma dayanan modeller olarak tanımlanır. Derin ağlar veri oluşturma süreci hakkında varsayımlarda bulunmaz, bunun yerine girdileri çıktılarla eşleyen bir işlevi öğrenmek için büyük miktarda veri kullanır. Derin öğrenme makul bir tanım ile parametrik değildir.