GBM ile Adaboost arasındaki farkları anlamaya çalışıyorum.

Bunlar şimdiye dek anladım:

• Hem önceki modelin hatalarından ders alan ve hem de modellerin ağırlıklı toplamını yapan yükseltme algoritmaları vardır.
• GBM ve Adaboost, kayıp fonksiyonları dışında oldukça benzerdir.

Ancak yine de aralarındaki farklar hakkında bir fikir edinmek benim için zor. Birisi bana sezgisel açıklamalar yapabilir mi?

Bu girişin bazı sezgisel açıklamalar sağlayabileceğini öğrendim .

• Gradyan Arttırmasında 'eksiklikler' (mevcut zayıf öğrencilerin) degradeleri ile tanımlanır .
• Adaboost'ta 'eksiklikler' yüksek ağırlıklı veri noktaları ile tanımlanmaktadır .

Anladığım kadarıyla, Adaboost'un üssel kaybı, daha kötü yerleştirilmiş örnekler için daha fazla ağırlık veriyor. Neyse, Adaboost, girişte sağlanan Gradient Boost'un geçmişinde gösterildiği gibi, kayıp fonksiyonu açısından özel bir Gradient Boost durumu olarak kabul edilir.

1. İlk başarılı yükseltme algoritması olan Invent Adaboost [Freund et al., 1996, Freund ve Schapire, 1997]
2. Adaboost'u özel bir kayıp fonksiyonuyla gradyan iniş olarak formüle edin [Breiman et al., 1998, Breiman, 1999]
3. Çeşitli kayıp fonksiyonlarının üstesinden gelmek için Adaboost'u Gradient Boosting'e genellendirmek [Friedman et al., 2000, Friedman, 2001]

AdaBoost algoritmasının sezgisel bir açıklaması

@ Randel'in aşağıdaki cevabını gösteren mükemmel cevabı üzerine kuralım

---

• Adaboost'ta 'eksiklikler' yüksek ağırlıklı veri noktaları ile tanımlanmaktadır.

AdaBoost özet

$G_m(x) \ m = 1,2,...,M$

$$G(x) = \text{sign} \left( \alpha_1 G_1(x) + \alpha_2 G_2(x) + ... \alpha_M G_M(x)\right) = \text{sign} \left( \sum_{m = 1}^M \alpha_m G_m(x)\right)$$

• Nihai tahmin, tüm sınıflandırıcılardan alınan tahminlerin, ağırlıklı oy çoğunluğu ile yapılan bir kombinasyondur.

• $\alpha_m$$G_m(x)$

• $w_1, w_2,...,w_N$$m$
• $m=1$$w_i = 1 / N$

Bir oyuncak örneği üzerinde AdaBoost

$M = 10$

Zayıf öğrencilerin sırasını görselleştirme ve örnek ağırlıkları

$m = 1,2...,6$

İlk yineleme:

• Karar sınırı çok basit (doğrusal) çünkü bunlar zayıf öğrenicilerdir.
• Tüm noktalar beklendiği gibi aynı boyutta
• 6 mavi nokta kırmızı bölgededir ve yanlış sınıflandırılmıştır

İkinci yineleme:

• Doğrusal karar sınırı değişti
• Daha önce yanlış sınıflandırılmış mavi noktalar şimdi daha büyük (daha büyük örnek ağırlığı) ve karar sınırını etkiledi
• 9 mavi nokta şimdi yanlış sınıflandırılıyor

Nihai sonuç, 10 tekrardan sonra

$\alpha_m$

([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...

Beklenildiği gibi, ilk yineleme, en az yanlış sınıflandırmaya sahip olanı olduğu gibi en büyük katsayısına sahiptir.

Sonraki adımlar

Gradyan yükseltmenin sezgisel bir açıklaması - tamamlanacak

Kaynaklar ve daha fazla okuma:

• python kodu ve burada orjinal rakamlar
• https://www.cs.cmu.edu/~aarti/Class/10701/slides/Lecture10.pdf