Kalan Ağlar Gradyan Arttırmayla mı ilgili?

11

Son zamanlarda, Artık Sinir ortaya çıktığını gördük, burada, her kat, bir hesaplama modülü ve katmanın girişini koruyan katmanın çıktısı gibi bir kısayol bağlantısından oluşur : $c_i$

y_{i + 1} = c_{i} + y_{i}

$y_{i+1} = c_i + y_i$ Ağ, kalan özelliklerin izin verir ve kaybolan gradyan sorununa karşı daha sağlam olmasının yanı sıra son teknoloji performansa ulaşarak daha derin derinliğe izin verir.

Gradyan artırımına girmiş olmak , ayrıca kayıp kalıntı üzerinde gradyan optimizasyon formu gerçekleştirmek gibi görünüyor makine öğrenme dünyasında çok güçlü asamblesi tekniği, Onun sert benzerlik çeşit görmemek.

Benzer olduklarını biliyorum ama aynı değil - fark büyük bir fark, artan net, tüm ağ optimize ederken, ek terim optimizasyon yapar olmasıdır.

He ve ark. Bunu orijinal gazetelerindeki motivasyonlarının bir parçası olarak görmedim . Bu yüzden bu konuyla ilgili görüşlerinizin neler olduğunu merak ediyordum ve sahip olduğunuz ilginç kaynakları paylaşmanızı rica ediyorum.

Teşekkür ederim.

— rhadar
kaynak

7

Potansiyel olarak Langford ve Shapire ekibinden daha fazlasını ele almaya çalışan yeni bir makale: Arttırma Teorisini Kullanarak Sırasıyla Derin ResNet Bloklarını Öğrenme

İlgilenilen kısımlar (Bkz. Bölüm 3):

Önemli fark, artırmanın tahmini bir hipotez topluluğu olması, ResNet ise tahmini özellik gösterimlerinin bir toplamıdır . Bu sorunu çözmek için, bir hipotez modülü oluşturmak üzere her kalan bloğun üstüne bir yardımcı doğrusal sınıflandırıcı . Resmi olarak bir hipotez modülü olarak tanımlanır $\sum_{t=0}^T f_t(g_t(x))$ $\mathbf{w}_t$
$o_{t} (x) := w_{t}^{T} g_{t} (x) \in R$ $o_t(x) := \mathbf{w}_t^T g_t(x) \in \mathbb{R}$

...

(burada) $o_t(x) = \sum_{{t'} = 0}^{t-1} \mathbf{w}_t^T f_{t'}(g_{t'}(x))$

Makale, zayıf modül sınıflandırıcı ve bunun BoostResNet algoritmalarıyla nasıl bütünleştiği hakkında daha ayrıntılı olarak ele alınmaktadır . $h_t(x)$

Bu cevaba biraz daha ayrıntı ekleyerek, tüm güçlendirici algoritmalar bir çeşit [1] şeklinde yazılabilir (p 5, 180, 185 ...):

F_{T} (x) := \sum_{t = 0}^{T} α_{t} h_{t} (x)

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

Burada , zayıf hipotezidir, bazı seçimi için . Farklı yükseltme algoritmalarının farklı yollarla ve . $h_t$ $t^{th}$ $\alpha_t$ $\alpha_t$ $h_t$

Örneğin AdaBoost [1] (s 5.), ile ağırlıklı hatasını en aza indirmek için kullanır. $h_t$ $\epsilon_t$ $\alpha_t = \frac{1}{2} \log \frac{1- \epsilon_t}{\epsilon_t}$

Öte yandan, gradyan artırma ayarında [1] (s 190.), ve en üst düzeye çıkaran seçilir. seçilir (öğrenme oranı vb. olarak) $h_t$ $\nabla\mathcal{L}(F_{t-1}(x)) \cdot h_t$ $\alpha_t > 0$

Lemma 3.2 altındaki [2] 'de olduğu gibi, derinlik- ResNet'in çıktısının olduğu gösterilmiştir. $T$ $F(x)$

F (x) \propto \sum_{t = 0}^{T} h_{t} (x)

$F(x) \propto \sum_{t=0}^T h_t(x)$

bu, artırma ve yeniden başlatma arasındaki ilişkiyi tamamlar. Makale [2], formuna girmek için yardımcı doğrusal katman eklemeyi önermektedir , bu da BoostResNet algoritmasına ve bununla ilgili bazı tartışmalara yol açar $F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

[1] Robert E. Schapire ve Yoav Freund. 2012. Artırma: Temeller ve Algoritmalar. MIT tuşuna basın. p 5, 180, 189
[2] Furong Huang, Ürdün Kül, John Langford, Robert Schapire: Artırıcı Teori kullanarak Sırasıyla Derin ResNet Bloklarını Öğrenme, ICML 2018

— Chappers
kaynak

4

Kendi sorumu cevaplıyorum: Deep Residual Networks'ün gerçekten de sığ ağlar topluluğu olduğunu araştıran ve kanıtlayan önemli bir makale buldum .

BAŞKA BİR DÜZENLEME, bu sorunu anladıktan sonra daha çok abit: Resnets'e 'Özellik Artırma' öğrenmenin bir yolu olarak bakıyorum. Kalan bağlantı güçlendirmeyi gerçekleştirir, ancak objektif üzerinde değil, aslında bir sonraki katmanın çıkış özellikleri üzerinde çalışır. Yani aslında birbirleriyle bağlantılıdırlar, ama klasik gradyan arttırıcı değil, aslında 'Gradient Feature Boosting'.

— rhadar
kaynak