Doğrusal temel öğrenen, güçlendirmede nasıl çalışır? Ve xgboost kütüphanesinde nasıl çalışır?

XGBoost'ta doğrusal objektif fonksiyonun ve doğrusal takviyelerin nasıl uygulanacağını biliyorum. Benim somut sorum şudur: algoritma artık (veya negatif eğime) uyduğunda, her adımda bir özellik (yani tek değişkenli model) veya tüm özellikler (çok değişkenli model) kullanıyor mu?

XGBoost'taki doğrusal artışlarla ilgili belgelere yapılan herhangi bir referans takdir edilecektir.

DÜZENLEME: XGBoost'ta 'güçlendirici' parametresi 'gblinear' olarak ayarlanarak doğrusal yükseltmeler uygulanabilir. Doğrusal takviye hakkında faydalı bilgiler için bkz. Http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3885826/ . Ben objektif fonksiyon hakkında (ki aynı zamanda lineer olabilir) değil, onlar canlandırıcı artırmak hakkında konuşuyorum unutmayın.

Teşekkürler!

— Escachator
kaynak

Nasıl uygulandığını bilmiyorum ama bir seferde sadece bir özelliği dikkate alması için hiçbir neden göremiyorum

— Alexey Grigorev

@AlexeyGrigorev büyük olasılıkla bir seferde birçok özellik gerektirir, ancak daha sonra bu özellikler nasıl seçilir? Doğrusal takviye için belirli bir süreçle ilgili herhangi bir belge çok açıklayıcı olacaktır.

— Escachator

Sorunuza kısa cevap:

algoritma artık (veya negatif eğime) uyduğunda her adımda bir özellik (yani tek değişkenli model) veya tüm özellikler (çok değişkenli model) kullanıyor mu?

Algoritma bir özellik kullanıyor veya tüm özellikler kurulumunuza bağlıdır. Aşağıda listelenen uzun cevabımda, hem karar kütüğü hem de doğrusal öğrenen örneklerinde, tüm özellikleri kullanıyorlar, ancak isterseniz bir özellik alt kümesine de sığabilirsiniz. Örnekleme sütunları (özellikler), özellikle çok sayıda özelliğiniz varsa, modelin varyansını azaltmak veya modelin "sağlamlığını" artırmak olarak görülmektedir.

İçinde xgboost, ağaç tabanı öğrenicisi için, colsample_bytreeher yinelemeye uyacak şekilde örnek özellikleri ayarlayabilirsiniz . Doğrusal temel öğrenen için böyle seçenekler yoktur, bu nedenle tüm özelliklere uymalıdır. Buna ek olarak, çok fazla insan xgboost'ta doğrusal öğrenen veya genel olarak gradyan artırıcı kullanmaz.

Güçlendirme için zayıf öğrenci olarak doğrusal için uzun cevap:

Çoğu durumda, doğrusal öğrenenleri temel öğrenen olarak kullanmayabiliriz. Nedeni basit: Birden fazla doğrusal modelin birlikte eklenmesi yine de doğrusal bir model olacaktır.

Modelimizi güçlendirirken temel öğrencilerin bir toplamıdır:

f (x) = \sum_{m = 1}^{M} b_{m} (x)

$f(x)=\sum_{m=1}^M b_m(x)$

burada , yineleme sayısıdır, yinelemenin modelidir . $M$ $b_m$ $m^{th}$

Örneğin, temel öğrenci doğrusalsa, sadece yineleme çalıştırdığımızı ve ve , $2$ $b_1=\beta_0+ \beta_1x$ $b_2=\theta_0+ \theta_1x$

f (x) = \sum_{m = 1}^{2} b_{m} (x) = β_{0} + β_{1} x + θ_{0} + θ_{1} x = (β_{0} + θ_{0}) + (β_{1} + θ_{1}) x

$f(x)=\sum_{m=1}^2 b_m(x)=\beta_0+ \beta_1x+\theta_0+ \theta_1x=(\beta_0+\theta_0)+ (\beta_1+ \theta_1)x$

ki bu basit bir doğrusal model! Başka bir deyişle, topluluk modeli temel öğrenen ile "aynı güce" sahiptir!

Daha da önemlisi, eğer temel modeli temel öğrenci olarak kullanırsak, desteklemede çoklu yinelemeler yerine gitmek yerine doğrusal sistemi çözerek bir adım yapabiliriz . $X^T X \beta = X^T y$

Bu nedenle, insanlar temel öğrenci olarak doğrusal modelden başka modeller kullanmak isterler. İki ağaç eklemek bir ağaca eşit olmadığından ağaç iyi bir seçenektir. Basit bir vaka ile göstereceğim: karar kütüğü, sadece 1 bölünmüş bir ağaç.

Verileri basit ikinci dereceden bir işlev, tarafından oluşturulan bir işlev uydurma yapıyorum . Doldurulmuş kontur zemin gerçeği (sol) ve son karar güdük artırma (sağ). $f(x,y)=x^2+y^2$

Şimdi, ilk dört yinelemeyi kontrol edin.

Not, doğrusal öğreniciden farklı olarak, 4. yinelemedeki modele, diğer parametrelerle bir yineleme (bir tek karar kütüğü) ile ulaşılamaz.

Şimdiye kadar, insanların neden doğrusal öğrenenleri temel öğrenen olarak kullanmadığını açıkladım. Ancak, hiçbir şey insanların bunu yapmasını engellemez. Temel öğrenci olarak doğrusal modeli kullanırsak ve yineleme sayısını kısıtlarsak, doğrusal bir sistemi çözmeye eşittir, ancak çözme işlemi sırasında yineleme sayısını sınırlandırırız.

Aynı örnek, ancak 3B çizimde, kırmızı eğri verilerdir ve yeşil düzlem son uyumdur. Kolayca görebilirsiniz, son model doğrusal bir modeldir ve z=mean(data$label)x, y düzlemine paraleldir. (Bunun nedenini düşünebilirsiniz? Bunun nedeni, verilerimizin "simetrik" olmasıdır, bu nedenle uçağın eğilmesi kaybı artıracaktır). Şimdi, ilk 4 iterasyonda neler olduğuna bakın: Takılan model yavaşça optimal değere (ortalama) yükseliyor.

Sonuç olarak, doğrusal öğrenen yaygın olarak kullanılmamaktadır, ancak hiçbir şey insanların onu kullanmasını veya bir R kütüphanesinde uygulamasını engellemez. Buna ek olarak, modeli normalleştirmek için kullanabilir ve yineleme sayısını sınırlayabilirsiniz.

İlgili yazı:

Doğrusal Regresyon için Gradyan Arttırma - neden çalışmıyor?

Karar kütüğü doğrusal bir model midir?

— Haitao Du
kaynak

N ağaç kombinasyonunun bir ağaç olduğunu söyleyebilirim, n büyüklüğünün önemi yok!

— Metariat

@Metariat NO !, kombinasyon ağaçları bir ağaç DEĞİLDİR !. ağaç için bölünmüş bir "T" şekli göreceksiniz. Ama güçlendirilmiş güdük "#" şekli göreceksiniz. yani, bölünme diğer bölünmeleri geçecek!

— Haitao Du

N ağaçtan bir örnek verebilir misiniz? Sana eşdeğer bir ağaç vereceğim!

— Metariat

@Metariat üzgünüm şimdilik vaktim yok. Ama eminim karar kütüğünü artırmak bir karar ağacı tarafından kolayca oluşturulamaz. Zamanım olduğunda bu soruya geri döneceğim.

— Haitao Du

N ağaç kombinasyonunun hala bir ağaç olduğunu kabul ediyorum, ancak bu ağaç önemli ölçüde daha büyük olacak. En kötü durumda yaprak sayısı, tüm girdi ağaçlarındaki yaprak sayısının çarpımına eşittir, bu nedenle bu ağacın karmaşıklığı pratik değildir. Öte yandan, doğrusal fonksiyonlarda karmaşıklık tamamen aynıdır.

— Tomek Tarczynski