VC boyutu bize derin öğrenme hakkında ne anlatıyor?

15

Temel makine öğreniminde aşağıdaki "temel kurallar" öğretilir:

a) verilerinizin boyutu, hipotez kümenizin VC boyutunun boyutunun en az 10 katı olmalıdır.

b) N bağlantılı bir sinir ağının VC boyutu yaklaşık N'dir.

Yani derin bir öğrenme sinir ağı milyonlarca ünite dediğinde, bu milyarlarca veri noktasına sahip olmamız gerektiği anlamına mı geliyor? Lütfen buna biraz ışık tutabilir misin?

machine-learning  neural-networks  deep-learning  vc-dimension 
— Fequish
kaynak
Derin bir sinir ağında belirttiğiniz gibi milyonlarca birim olmayacak. Ancak milyonlarca bağlantısı olacaktır. İkinci temel kuralınızın, öncelikle düzenli yapıları nedeniyle (örneğin, bırakma ile CNN) bu ağlar için geçerli olmadığını varsayacağım.
— pir
Bence anahtar VC sınırının sonsuz olmaması. Eğer sonlu ise, PAC teorisi bize öğrenmenin uygulanabilir olduğunu söyler. Ne kadar veri, bu başka bir soru.
— Vladislavs Dovgalecs

Yanıtlar:

4

Bahsettiğiniz temel kural, bir sinir ağına uygulanamaz.

Bir sinir ağının bazı temel parametreleri vardır, yani ağırlıkları ve sapmaları. Ağırlık sayısı ağ katmanları arasındaki bağlantı sayısına ve yanlılık sayısı nöron sayısına bağlıdır.

Gereken verinin boyutu büyük ölçüde aşağıdakilere bağlıdır:

  1. Kullanılan sinir ağının türü .
  2. Ağda kullanılan düzenleme teknikleri .
  3. İnternet eğitiminde kullanılan öğrenme oranı.

Bununla birlikte, modelin aşırı uyup uymadığını bilmenin daha doğru ve kesin yolu, doğrulama hatasının eğitim hatasına yakın olup olmadığını kontrol etmektir. Evet ise, model iyi çalışıyor. Hayır ise, model büyük olasılıkla fazla uyuyor ve bu, modelinizin boyutunu azaltmanız veya düzenlileştirme teknikleri sunmanız gerektiği anlamına geliyor.

— Azrail
kaynak
Modelin aşırı uyup uymadığını anlamanın en iyi yolunun, doğrulama hatasının eğitim hatasına yakın olup olmadığını kontrol etmek olduğunu söylerken şaka yapmalısınız.
— nbro
6
@nbro, doğrulama hatasını kontrol etmek için uygun bir tutma ayarınız varsa, bu, eğitimli ağınız için genellikle çok gevşek VC sınırlarından geçmekten çok daha güvenilir bir önlemdir.
— Dougal
@Dougal Sadece cevabınızda söylediklerinizi tekrarlıyorsunuz.
— nbro
3
Cevabım değil @nbro. Ancak bir doğrulama seti verildiğinde, Hoeffding veya benzeri gerçek genelleme hatasına bağlı önemsiz bir yüksek olasılık elde edebilirsiniz, ancak VC sınırlarından geçmek, sahip olduğunuz belirli veri kümesine ve ağa özgü olmayan çok sayıda gevşek üst sınır içerir el.
— Dougal
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.