Makine öğrenimi modelinin “kapasitesi” nedir?

Carl Doersch'in Variational Autoencoders üzerine olan bu eğitimini inceliyorum . İkinci sayfada şunları belirtir:

Bu tür en popüler çerçevelerden biri, bu öğreticinin konusu olan Variational Autoencoder [1, 3]. Bu modelin varsayımları zayıftır ve backpropagation yoluyla eğitim hızlıdır. VAE'ler bir tahmin yapar, ancak yüksek kapasiteli modeller göz önüne alındığında bu yaklaşımın getirdiği hata tartışmalıdır . Bu özellikler popülerliklerinde hızlı bir artışa katkıda bulunmuştur.

Geçmişte yüksek kapasiteli modeller hakkında bu tür iddiaları okudum , ancak bunun için net bir tanım bulamıyorum. Bu ilgili yığın akışı sorusunu da buldum, ancak bana cevap çok tatmin edici değil.

Bir modelin kapasitesi için bir tanım var mı? Ölçebilir misin?

Kapasite gayri resmi bir terimdir. Model karmaşıklığına çok yakındır (eşanlamlı olmasa bile). Bir modelin veya modelin ne kadar karmaşık bir ifadeyi ifade edebileceği hakkında konuşmanın bir yolu. Daha yüksek kapasiteli bir modelin, daha düşük değişkenli bir modelden daha fazla değişken arasında daha fazla ilişki modelleyebilmesini bekleyebilirsiniz.

Konuşma dilinin tanımsal tanımından bir benzetme yaparak, bunu bir modelin tamamen bilgi ile "dolduruluncaya kadar" daha fazla veriyi öğrenme yeteneği olarak düşünebilirsiniz.

Kapasiteyi resmileştirmenin ve bunun için sayısal bir değeri hesaplamanın çeşitli yolları vardır, ancak daha da önemlisi, bunlar kapasitenin olası bazı "operasyonelleştirmeleridir" (tıpkı birisinin güzelliği hesaplamak için bir formül bulması durumunda, formül güzelliğin sadece bir yanlış yorumudur).

VC boyutu , kapasitenin matematiksel olarak titiz bir formülasyondur. Bununla birlikte, bir modelin VC boyutu ile modelin verilere uyması için gerçek yeteneği arasında büyük bir boşluk olabilir. VC loşunun bilinmesi modelin genelleme hatasına bir sınır verse de, bu genellikle sinir ağları için yararlı olamayacak kadar gevşek.

Burada görülen başka bir araştırma çizgisi, bir sinir ağındaki ağırlık matrislerinin spektral normunu bir kapasite ölçüsü olarak kullanmaktır. Bunu anlamanın bir yolu, spektral normun ağın Lipschitz sabitini sınırlamasıdır.

Bir modelin kapasitesini tahmin etmenin en yaygın yolu, parametre sayısını saymaktır. Daha fazla parametre, genel olarak kapasite artar. Tabii ki, genellikle daha küçük bir ağ, daha karmaşık verileri daha büyük bir ağdan daha iyi modellemeyi öğrenir, bu nedenle bu önlem de mükemmel olmaktan uzaktır.

Kapasiteyi ölçmenin başka bir yolu, modelinizi rastgele etiketlerle eğitmek olabilir ( Neyshabur ve diğerleri ) - ağınız rastgele etiketlerle birlikte bir grup girişi doğru bir şekilde hatırlayabilirse, temel olarak modelin tüm bunları hatırlama yeteneğine sahip olduğunu gösterir. ayrı ayrı veri noktaları. "Öğrenilebilen" giriş / çıkış çiftleri ne kadar fazla olursa, kapasite o kadar yüksek olur.

$\epsilon$