Filtreler için boyutları seçmek, birimleri birleştirmek ve evrişimli katmanların sayısını belirlemek için bazı yöntemsel yöntemleri kapsayan iyi kağıtlar var mı?
Yanıtlar:
Bir dereceye kadar evet, Google araştırmacıları tarafından iyi bir Başlangıç mimarisinin nasıl seçileceğiyle ilgili son bir bildiri yayınlandı. Başlangıç ağları, kısıtlanmış bir parametre bütçesi üzerinde çok yüksek performans sağlar, bu nedenle herhangi bir yerden başlamak için iyi bir yer ve son zamanlarda. İşte link: Computer Vision için Başlangıç Mimarisini Yeniden Düşünmek .
Sert nicel kurallar sunmazlar, aksine kullandıkları ve yeni ImageNet yarışmalarında iyi performans elde etmelerine yardımcı olduğuna inandıkları kılavuzlar sunarlar.
Örneğin, tartıştıkları ilkelerden bazıları şunlardır:
Tek bir büyük alıcı alanlı evrişimli katman kullanmak yerine daha küçük alıcı alanlı evrişimli katmanların yığınlarını kullanın, yani, tek bir 7x7'lik conv katmanına karşı 2 yığın 3x3 akış tabakası yığını. Bu fikir yeni değil , Ayrıntılarda Şeytanın Geri Dönüşü: Oxford VGG ekibi tarafından Konvolüsyonel Ağların Derinine Aktarılması da tartışıldı . Bu, parametre verimli olma ihtiyacı ile motive edilir. Ayrıca, daha fazla katmanla daha fazla doğrusallık getirdiğimiz için daha fazla temsil kapasitesinin ikili etkisine sahiptir.
Literatürde bahsetmediğim bir şey, bu makalede bahsettiğim evrişimli katmanları derin katmanlara ayırmaktır. Dolayısıyla, tek bir 7x7 konv katmanı yerine, bir 1x7 konv katmanı ve sonra bir 7x1 konv katmanı olur. Daha fazla derinlik katar, ayrıca parametrenin de verimli olduğuna inanıyorum.
Ağınızın derinliğini ve genişliğini dengeleyin. Yüksek boyutlu gösterimler kullanın. Bu, çoklu convolutinal katmanları bir araya getiren, Başlangıç modüllerinin ardındaki ilkelerden biridir. Konvnet ağınızda küçük bir mekansal boyutunuz olsa bile, Inception modüllerini kullanarak çok ölçekli konvolüsyon bitiştirme yoluyla yüksek boyutlu bir gösterimi kullanabiliriz: 1x1, 3x3, 3x3-3x3, hepsi bir araya getirilen maksimum havuz. Bu Başlangıç modülleri bir "genişliğe" sahiptir, çünkü paralel olarak birden fazla işlem yapmak olarak yorumlanabilirler. Evrimsel boyutlara, 1x3, 3x1 vb. Faktörlere sahip yeni Inception modülleriyle daha da ileri giderler.
Boyutsallığı azaltmak için 1x1 conv katmanları (Ağ stilinde Ağ) kullanın. Parametre verimliliğini sağlamak için birçok boyutluluk azaltma tekniği kullanırlar. Bunun etkili olduğuna inanıyorlar çünkü bitişik özellik haritaları oldukça yüksek çıktılara sahip. Doğal görüntüler olarak mantıklı olan, bununla tutarlı bazı yerel istatistiksel özellikleri sergilediği bilinmektedir. Dolayısıyla, 1x1 NIN katmanları yoluyla boyutluluğun azaltılması, temsil gücü üzerinde feci bir etki yaratmaz.
Makalede daha var. Sanırım, ne sorduğunuzu biraz anlayabilecek bir makale. Conv net mimari tasarımın bazı temel kavramlarından bahsediyorlar.
Problem özelliklerinin bir fonksiyonu olarak bu hiper-parametrelerin seçilmesine ilişkin herhangi bir literatüre rastlamadım. Fakat benim anladığım kadarıyla, çoğu Bayesian optimizasyon yöntemlerini etkin değerlerde sıfıra benimsiyor. Makul bir aralık belirlersiniz ve çeşitli kombinasyonları test ederek, bu hiper parametrelerin modelin doğruluğu ile nasıl ilişkili olduğunu gösteren bir model öğrenirsiniz. Benim için iyi çalıştı. Snoek, Larochelle ve Adams'tan “Makine Öğrenimi Algoritmalarının Pratik Bayesian Optimizasyonu” nu ( http://papers.nips.cc/paper/4522-practical-bayesian-optimization-of-machine-learning-algorithms.pdf ) inceleyin.