Anladığım kadarıyla CNN'ler iki bölümden oluşuyor. Özellik çıkarmayı yapan ilk bölüm (döngü / havuz katmanları) ve özelliklerden sınıflandırma yapan ikinci bölüm (fc katmanları).
Tam bağlı sinir ağları en iyi sınıflandırıcılar olmadığından (yani çoğu zaman SVM'ler ve RF'ler tarafından daha iyi performans gösterirler), CNN'ler neden bir SVM veya RF diyelim, FC katmanlarıyla sonuçlanır?
Yanıtlar:
O kadar basit değil. Her şeyden önce, bir SVM bir şekilde bir tür sinir ağıdır (geri yayılım yoluyla bir SVM çözümünü öğrenebilirsiniz). Bkz * * Yapay Sinir Ağı nedir? . İkincisi, hangi modelin daha iyi çalışacağını önceden bilemezsiniz, ancak bir şey tamamen nöromorfik bir mimariyle, CNN'nin son gizli katman aktivasyonuna bir SVM veya RF eklerken, ağırlıkları uçtan uca öğrenebilirsiniz. sadece geçici bir prosedür. Daha iyi performans gösterebilir ve test edilmeden bilemeyebiliriz.
Önemli olan, tamamen kıvrımlı bir mimarinin, çok sayıda nedenden dolayı faydalı olan temsili öğrenebilme yeteneğidir. Bir kere, probleminizdeki özellik mühendisliğini tamamen azaltabilir veya ortadan kaldırabilir.
FC katmanları hakkında, matematiksel olarak 1x1 Konvolüsyon katmanlarına eşdeğerdir. Bkz Yann Lecun adlı kullanıcının yayınını , aşağıdaki I transkript:
Evrişimli Ağlarda "tamamen bağlı katmanlar" diye bir şey yoktur. Sadece 1x1 evrişim çekirdeklerine ve tam bir bağlantı tablosuna sahip evrişim katmanları vardır.
ConvNets'in sabit boyutlu bir girişe sahip olması gerekmediği çok nadir anlaşılan bir gerçektir. Bunları tek bir çıktı vektörü (uzamsal olmayan) üreten girişler üzerinde eğitebilir ve daha sonra daha büyük görüntülere uygulayabilirsiniz. Daha sonra tek bir çıkış vektörü yerine, çıkış vektörlerinin uzamsal bir haritasını alırsınız. Her vektör giriş pencerelerini girişteki farklı konumlarda görür.
Bu senaryoda, "tamamen bağlı katmanlar" gerçekten 1x1 kıvrım görevi görür.
Ücretsiz Öğle Yemeği Teoremini (Wolpert & Macready) biliyor olsaydınız, tek bir sınıflandırıcıya bu kadar asılmazsınız ve bunun neden en iyi olmadığını sorarsınız. NFL Teoremi esasen "tüm maliyet fonksiyonlarının evreninde en iyi tek sınıflandırıcı olmadığını" belirtir. İkinci olarak, sınıflandırıcı performansı her zaman "verilere bağlıdır".
Çirkin Ördek Teoremi (Watanabe) "tüm özellikleri setlerinin evrende, özelliklerinden hiç kimse iyi takımı bulunmaktadır." Diye esasen devletler
Yukarıdakilerin ve Occam'ın Razor'unun ışığında , veri ve maliyet fonksiyonundan bağımsız olarak hiçbir zaman her şeyden daha iyi bir şey yoktur.
Her zaman CNN'lerin kendi başlarına çeşitliliğin (kappa vs error) değerlendirilebilecek sınıflandırıcı toplulukları olmadığını iddia ettim.