Derin artık ağlar bir ağ topluluğu olarak görülmeli mi?

Soru Derin Artık Ağların ( ResNets ) mimarisi ile ilgili . Beş ana parkurun hepsinde "Büyük Ölçekli Görsel Tanıma Yarışması 2015" (ILSVRC2015) ' de birincilik kazanan model :

• ImageNet Sınıflandırması: “Ultra derin” (alıntı Yann) 152 katmanlı ağlar
• ImageNet Detection: 2'den% 16 daha iyi
• ImageNet Yerelleştirmesi: 2'den% 27 daha iyi
• COCO Tespiti: 2'den% 11 daha iyi
• COCO Segmentasyonu: 2'den% 12 daha iyi
  
  Kaynak: MSRA @ ILSVRC ve COCO 2015 yarışmaları (sunum, 2. slayt)

Bu çalışma aşağıdaki makalede açıklanmıştır:

Görüntü Tanıma için Derin Artık Öğrenme (2015, PDF)

Microsoft Araştırma ekibi (ResNets: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun):

" Derin Artık Ağlarda Kimlik Eşlemeleri (2016) "

derinliğin önemli bir rol oynadığını belirtin :

" Bu sonuçları basit ama temel bir kavramla elde ediyoruz - daha derine iniyoruz. Bu sonuçlar derinlik sınırlarını zorlama potansiyelini gösteriyor. "

Sunumlarında da vurgulanmıştır (daha derin - daha iyi):

- "Daha derin bir modelde daha yüksek eğitim hatası olmamalıdır."
- "Daha Derin ResNets daha düşük eğitim hatasına ve daha düşük test hatasına sahiptir."
- "Daha Derin Resnet'lerde hata daha düşük."
- "Tümü daha derin özelliklerden daha fazla faydalanıyor - birikimli kazançlar!"
- "Daha derin daha iyidir."

İşte 34 katmanlı artık yapısı (referans için):

Ancak son zamanlarda, artık ağların üstel topluluklar olduğunu gösteren yeni bir yorum getiren bir teori buldum:

Artık Ağlar Nispeten Sığ Ağların Üstel Topluluklarıdır (2016)

Derin Resnet'ler, çıktıları çeşitli derinliklerde toplanan birçok sığ ağ olarak tanımlanır. Makalede bir resim var. Açıklama ile ekliyorum:

Artık Ağlar geleneksel olarak Denklem (1) 'in doğal bir temsili olan (a) olarak gösterilmektedir. Bu formülasyonu Denklem (6) 'ya genişlettiğimizde, 3 bloklu artık ağın (b) çözülmüş bir görünümünü elde ederiz. Bu görünümden, artık ağların giriş ve çıkışı bağlayan O (2 ^ n) örtülü yollara sahip olduğu ve bir blok eklemenin yol sayısını iki katına çıkardığı açıktır.

Makalenin sonunda şöyle belirtilmektedir:

Derinlik değil, artık ağları güçlü kılan topluluktur . Kalan ağlar, ağ derinliğinin değil, ağ çokluğunun sınırlarını zorlar. Önerdiğimiz çözülmemiş görüşümüz ve lezyon çalışması, artık ağların üstel olarak birçok ağın örtülü bir topluluğu olduğunu göstermektedir. Gradyan katkı yolların en çok kısa bir ağın genel derinliğine göre ise, derinliği artan tek başına temel özelliği olamaz kalıntı ağlar. Şimdi inanıyorum çokluğu , yolların sayısı bakımından ağın expressability, oynadığı kilit rol .

Ancak, doğrulanabilen veya reddedilebilen yalnızca yeni bir teoridir. Bazen bazı teoriler çürütülür ve makaleler geri çekilir.

Sonuçta derin Resnet'leri bir topluluk olarak mı düşünmeliyiz? Topluluk veya derinlik artık ağları bu kadar güçlü kılıyor mu? Geliştiricilerin bile kendi modellerinin neyi temsil ettiğini ve içindeki anahtar kavramın ne olduğunu tam olarak algılamaması mümkün müdür?

Bir cinin size üç dilek verdiğini düşünün. Hırslı bir derin öğrenme araştırmacısı olduğunuz için ilk isteğiniz, hemen dizüstü bilgisayarınızda görünen Image Net için 1000 katmanlı NN için mükemmel bir çözümdür.

Genie kaynaklı bir çözüm size bir topluluk olarak nasıl yorumlanabileceğine dair herhangi bir sezgi vermiyor, ancak bir kediyi bir köpekten ayırt etmek için 1000 soyutlama katmanına ihtiyacınız olduğuna gerçekten inanıyor musunuz? "Topluluk kağıdı" nın yazarlarının kendilerinden bahsettiği gibi, bu biyolojik sistemler için kesinlikle doğru değildir.

Tabii ki çözümün bir ağlar topluluğuna ayrıştırılması konusundaki ikinci isteğinizi boşa harcayabilirsiniz ve eminim cinler mecbur kalabilir. Bunun nedeni, derin bir ağın gücünün bir kısmının daima topluluk etkisinden gelmesidir.

Bu nedenle, derin ağları, bırakma ve artık ağları eğitmek için çok başarılı iki püf noktasının dolaylı topluluk olarak derhal yorumlanması şaşırtıcı değildir. Bu nedenle "derinlik değil, topluluk" bana yanlış bir ikilik olarak çarpıyor. Gerçekten, dürüstçe, görüntüleri insan doğruluğuyla sınıflandırmak için yüzlerce veya binlerce soyutlama düzeyine ihtiyacınız olduğuna inanıyorsanız.

Son arzuyu başka bir şey için kullanmanızı öneririm, belki bir pinacolada.

Tanh gibi birçok doğrusal olmayan özellik için rastgele artık ağlar, iki giriş vektörünün kosinüs mesafesinin vanilya tanh ağlarında olduğu gibi üstel bir hızdan ziyade bir polinom hızında sabit bir noktaya yakınlaşacağı için kaosun kenarında yaşar. Böylece tipik bir artık ağ, yavaş yavaş kaotik sınırı derinlikle geçerek birçok sınır için bu sınırın etrafında dolaşacaktır. Temel olarak giriş alanının geometrisini “çok hızlı” unutmaz. Bu yüzden onları oldukça derin hale getirsek bile, vanilya ağlarını daha iyi çalışırlar.

Artık ağlarda bilginin yayılması hakkında daha fazla bilgi için - Ortalama Alan Kalan Ağları: Kaosun Kenarında