Sinir ağlarının karmaşıklığını ölçmek için VC boyutuna alternatifler nelerdir?

Sinir ağlarının karmaşıklığını ölçmek için bazı temel yollarla karşılaştım:

Saf ve gayri resmi: nöronların, gizli nöronların, katmanların veya gizli katmanların sayısını sayın
VC boyutu (Eduardo D. Sontag [1998] "Sinir ağlarının VC boyutu" [ pdf ].)
Bir ders taneli ve asimtotik hesaplama karmaşıklığı eşdeğeri ile ölçülür $TC^0_d$ .

Başka alternatifler var mı?

Tercih edilir:

Karmaşıklık metriği, farklı paradigmalardan (backprop, dinamik sinir ağları, kaskad korelasyonu, vb.) Aynı ölçekte sinir ağlarını ölçmek için kullanılabilirse. Örneğin, VC boyutu ağlardaki farklı türler için (hatta sinir ağları dışındaki şeyler için) kullanılabilirken, nöron sayısı sadece aktivasyon fonksiyonunun, sinyallerin (temel toplamlar ve ani artışlar) ve diğer ağın özellikleri aynıdır.
Ağ tarafından öğrenilebilen işlevlerin standart karmaşıklık ölçülerine güzel yazışmalar varsa
Belirli ağlarda metriği kolayca hesaplamak kolaysa (bu sonuncusu bir zorunluluk değildir.)

notlar

Bu soru CogSci.SE hakkında daha genel bir soruya dayanmaktadır.

— Artem Kaznatcheev
kaynak

Karmaşıklık aynı zamanda öğrenme algoritmasına da bağlı olmamalı mı? VC boyutu genellikle dışbükey kayıp fonksiyonlarına sahip yöntemlere uygulanır. Dışbükey olmayan bir kaybınız varsa, modelinizin bazı noktaları ayırabileceği duruma gelebilirsiniz, ancak öğrenme algoritmanız asla bu çözümü bulamaz. Bu nedenle ağın yapısını kullanarak sınırların olması oldukça zor olmalı. @Tdc ile genelleme hatasının bir yol olduğunu kabul ediyorum. Vapnik'in istatistiksel öğrenme teorisi hakkındaki makalesi, bu konuda öğrenmeye başlamak için iyi bir yer olabilir.

— Andreas Mueller

Yanıtlar:

John Langford & Rich Caruana tarafından yazılan "(Değil) Gerçek Hatayı Sınırlayan Makaleye bir göz atmak isteyebilirsiniz (NIPS, 2001)

Soyut durumlar:

PAC-Bayes sınırlarına dayanan sürekli değerli bir sınıflandırıcının gerçek hata oranını sınırlamak için yeni bir yaklaşım sunuyoruz. Yöntem önce modeldeki her bir parametrenin gürültüye ne kadar duyarlı olduğunu belirleyerek sınıflandırıcılar üzerinde bir dağıtım oluşturur. Duyarlılık analizi ile bulunan stokastik sınıflandırıcının gerçek hata oranı daha sonra bağlı bir PAC-Bayes kullanılarak sıkıca bağlanabilir. Bu yazıda, yapay sinir ağları üzerindeki yöntemi, en iyi deterministik sinir ağı sınırlarına karşı 2-3 derecelik bir iyileşme sonuçları ile göstermekteyiz.

Stokastik sinir ağlarına PAC-Bayes stil sınırlarını uygulayabileceğinizi gösterirler. Bununla birlikte, analiz sadece sigmoidal transfer fonksiyonuna sahip 2 katmanlı ileri beslemeli sinir ağları için geçerlidir. Bu durumda, karmaşıklık terimi sadece düğümlerin sayısına ve ağırlıkların varyansına bağlıdır. Bu ayar için sınırın aşırı eğitimin ne zaman gerçekleşeceğini etkili bir şekilde tahmin ettiğini gösterirler. Ne yazık ki, "tercih edilen" özelliklerinizden hiçbirini gerçekten etkilemiyor!

— tdc
kaynak

Güzel görünen +1 - teşekkür ederim, bir göz atacağım. Ancak, tercih edilen özelliklerin hiçbirine uymadığını ve ilk elde ağın performansı kadar karmaşıklığını gerçekten ölçmediğini kabul ediyorum ... ama sanırım bunlar ayrılmaz.

— Artem Kaznatcheev

Baktığı şey Genelleme Hatası . Oluşturulan sınırların genellikle eğitim hatasına dayalı bir terimi ve modelin karmaşıklığına dayalı bir ceza süresi vardır. İlgilendiğiniz tek şey karmaşıklık terimidir, ancak neredeyse her sınırda bir bileşen olacaktır. Bu video benden daha iyi açıklıyor!

— tdc

bu yönün doğru olmadığını düşünüyorum. hata ağ karmaşıklığından çok farklıdır. ancak mevcut teori bu ikisini bulanıklaştırabilir. basit bir örnek, hatanın düşük, ancak karmaşıklığın yüksek olduğu yerlerde fazla takmaktır. ayrıca, hata karmaşıklık açısından mantıksız yollarla davranabilir. önyargı gibi. küçük bir ağ hatayı hafife alabilir gibi görünüyor. etcetera

@vzn ancak genelleme hatası gelecekteki verilerdeki hatadır - yani düşük eğitim hatası ve yüksek karmaşıklığa sahipseniz, hata sınırınız gevşek olacaktır.

— tdc

Ayrıca, Profesör Peter Bartlett tarafından yapılan yağ kırıcı boyut çalışmalarına da ilgi duyabilirsiniz. İşte 1998 IEEE belgesinde sinir ağı karmaşıklığının analizine giriş: Yapay Sinir Ağlarıyla Desen Sınıflandırmasının Örnek Karmaşıklığı: Ağırlıkların Boyutu Ağın Boyutundan Daha Önemlidir (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

— Shaun Singh
kaynak