Bir sinir ağının VC boyutunu etkili bir şekilde hesaplamak veya yaklaşık olarak hesaplamak

Amacım, girdi ve çıktı ile tanımladığım aşağıdaki sorunu çözmek:

Giriş:

düğümleri, kaynakları ve lavabo ( ) ile yönlendirilmiş bir asiklik grafik$G$$m$$n$$1$$m > n \geq 1$

Çıktı:

VC-boyutu topolojisi ile sinir ağı için (ya da yaklaşık bir) .$G$

Daha fazla özellik :

• her bir düğüm sigmoid bir nörondur. Topoloji sabittir, ancak kenarlardaki ağırlıklar öğrenme algoritması ile değiştirilebilir.$G$
• Öğrenme algoritması sabittir (diyelim ki geriye doğru yayılma).
• kaynağı düğümleri giriş nöronlar ve sadece dizeleri sunar girdi olarak kullanılmaktadır.$n$$\{-1,1\}^n$
• Lavabo düğümü çıkış birimidir. Bu gerçek bir değer verir biz yuvarlak olduğu ya da aşağı doğru , daha belirli sabit bir eşik göre ise uzak .$[-1,1]$$1$$-1$$\delta$$0$

Saf yaklaşım, ağı kendileri üzerinde eğitmeye çalışarak daha fazla puan kırmaya çalışmaktır. Ancak, bu tür bir simülasyon yaklaşımı etkili değildir.

Soru

Bu fonksiyonu hesaplamanın etkili bir yolu var mı (yani de karar problemine dönüştürüldüğünde: VC boyutu giriş parametresi mü?) Değilse, sertlik sonuçları var mı?$\mathsf{P}$$k$

Bu işlevi hesaplamanın veya yaklaşık olarak kullanmanın pratikte iyi bir yolu var mı? Eğer bir tahminse, doğruluğu konusunda herhangi bir garanti var mı?

notlar

Ben sordum benzer bir soru stats.SE üzerinde ancak hiçbir ilgi oluşturdu.

Ağın katmanlaşmasına izin vererek sorunu daha da kısıtlamak istiyorsanız, Tom Mitchell'in "Makine Öğrenimi", ( ) (bölüm 7.4.4) ' üst sınırını verir; burada , iç düğümlerin sayısıdır (2'den yüksek olması gerekir), tek tek düğümlerin VC boyutudur ve doğal logaritmanın temelidir. Eğitim örneklerinin sayısı konusunda bir bağın peşindeyseniz, bu bilgi yeterli olmalıdır.$2ds \log(es)$$s$$d$$e$

Bu kesinlikle sorunuzun bir cevabı değildir, ancak size yardımcı olabilir. Sonuç Baum ve Haussler'den (1989) kaynaklanmaktadır.