Degrade, degrade iniş gibi nasıl yükselir?

Degrade artırımı ( https://en.wikipedia.org/wiki/Gradient_boosting ) ile ilgili faydalı Wikipedia girişini okuyorum ve kalıntıları en dik iniş adımı ile (/ sözde degrade olarak da adlandırılır) nasıl / neden yaklaşık olarak anlayabileceğimizi anlamaya çalışıyorum ). Biri bana en dik inişin artıklara nasıl bağlı / benzer olduğuna dair sezgileri verebilir mi? Çok takdir Yardım!

self-study gradient-descent

— Wouter
kaynak

Aşağıdaki durumda olduğumuzu varsayalım. Bazı verilerimiz var , burada her bir sayı veya vektör olabilir ve en küçük kareler anlamında ilişkisine yaklaşan bir işlevini belirlemek istiyoruz. hata: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

küçük.

Şimdi, soru alanının olmasını istediğimiz konuya giriyor . Alan için dejenere bir seçim, eğitim verilerimizdeki noktalardır. Bu durumda, sadece istenen alanın tamamını kapsayan tanımlayabilir ve onunla yapılabilir. Bu cevaba ulaşmanın bir yolu, alan olarak bu ayrık alanla gradyanlı iniş yapmaktır. Bu, bakış açısından biraz değişiklik gerektirir. Kaybı doğru noktasının ve tahmininin bir fonksiyonu olarak görelim (şimdilik, bir fonksiyon değil, sadece tahminin değeri) $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

ve daha sonra tahmine göre gradyanı al

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

Daha sonra gradyan güncelleştirme, bir başlangıç değerinden başlayarak olan $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Bu nedenle, bu kurulumla mükemmel tahminimizi degrade bir adımda kurtarıyoruz, ki bu güzel!

Buradaki kusur, elbette, eğitim veri noktalarımızdan çok daha fazla tanımlanmasını istiyoruz . Bunu yapmak için, eğitim veri setimiz dışındaki hiçbir noktada kayıp fonksiyonunu veya degradesini değerlendiremediğimiz için birkaç taviz vermeliyiz. $f$

Büyük fikir, ye zayıf bir şekilde yaklaşmaktır . $\nabla L$

Start bir ilk tahminle , neredeyse her zaman basit bir sabit fonksiyon , bu her yerde tanımlanır. Şimdi için başlangıç tahminini kullanarak egzersiz verilerindeki kayıp fonksiyonunun gradyanını değerlendirerek yeni bir çalışma veri kümesi oluşturun : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ zayıf öğrenciyi . Biz yaklaşım olsun Say . Veri bir uzantısı kazanmıştır şeklinde tüm alanda biz eğitim noktalarında kayıp hassasiyet olsa biz küçük öğrenen sığacak beri. $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally, tüm etki alanı üzerindeki gradyan güncellemesinde yerine kullanın : $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

Biz çıkmak , yeni bir yaklaşım biraz daha iyi, . ile ve tatmin olana kadar tekrarlayın. $f_1$ $f$ $f_0$ $f_1$

Umarım, gerçekten önemli olanın kaybın eğimine yaklaşmak olduğunu görürsünüz. En küçük karelerin en aza indirilmesi durumunda bu, ham artıklar biçimini alır, ancak daha karmaşık durumlarda bunu yapmaz. Makine hala geçerlidir. Antrenman verilerindeki kayıp ve kayıp derecesini hesaplamak için bir algoritma oluşturabildiği sürece, bu algoritmayı bu kaybı en aza indirgeyen bir işleve yaklaşmak için kullanabiliriz.

— Matthew Drury
kaynak

Yah, bence bu iyi. Dikkat edilmesi gereken tek şey, örneğin, binom kaybını en aza indirmek için artırmak istiyorsanız artık genişlettiğimiz gradyan artık değil doğal bir şekilde kalıntılarla ilgili.

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury

Teşekkürler Matthew. Bir şey başımı döndürmeye çalışıyorum. Literatürde genellikle model güncellemesinin F (m + 1) = F (m) + , burada h (m) zayıf öğrenen olduğu belirtilmektedir. Eğer ağaç tabanlı bir model düşünüyorsam - bu hem regresyon hem de sınıflandırma için, iki modelin sonuçlarının basit bir şekilde eklenmesiyle, belirli bir veri noktası için tahminimizi pratik olarak güncellediğimiz anlamına mı geliyor? Bunu ikili sınıflandırmaya çalışıyorsak da işe yarıyor mu? veya + işareti tam anlamıyla yorumlanmamalı mı?

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter

Artı işareti tam anlamıyla. Ancak, ağaç temelli zayıf öğrenciler için, model tahminleri, ağacın binom verisine uygun olduğu durumlarda bile, yapraktaki ağırlıklı ortalama olarak yorumlanmalıdır. Bununla birlikte, artırımda genellikle binom verisine uymadığımızı, önceki aşamada değerinde olmayacak tahminlerde değerlendirilen olasılığın gradyanına uyduğumuzu unutmayın.

0, 1

$0,1$

— Matthew Drury

@MatthewDrury Birçok literatürde, ile doğrudan güncellemiyoruz , ancak , 0'dan 1'e bir öğrenme oranıdır.

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du

@ hxd1011 Evet, bu kesinlikle doğru ve degrade artırmayı başarıyla kullanmak için çok önemli.

— Matthew Drury