«xgboost» etiketlenmiş sorular

Sınıfta dengesiz bir veri var ve yükseltilmiş tressin hiperparametrelerini xgboost kullanarak ayarlamak istiyorum. Sorular Xgboost için bir gridsearchcv veya randomsearchcv eşdeğeri var mı? Değilse, xgboost parametrelerini ayarlamak için önerilen yaklaşım nedir?

68 machine-learning  cross-validation  xgboost  boosting 

GBDT model ailesinin aşağıdaki gibi birkaç uygulaması vardır: GBM XGBoost LightGBM Catboost. Bu farklı uygulamalar arasındaki matematiksel farklar nelerdir ? Catboost, bu uygulama işaretine göre sadece varsayılan parametrelerini kullanarak bile diğer uygulamalardan daha iyi performans gösteriyor gibi görünüyor , ancak yine de çok yavaş. Tahminime göre catboost, varsayılan değişkenleri kullanmıyor, …

33 boosting  xgboost 

Bir örnek olarak, ilgili XGBoost modelin amacı, fonksiyonu, ttt 'inci yineleme: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) burada ℓℓ\ell kaybı fonksiyonudur, ftftf_t olan ttt 'inci ağaç çıkışı ve ΩΩ\Omega regülarizasyonu olup. Hızlı hesaplama için (birçok) ana adımdan biri yaklaşık değerlerdir: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), burada gigig_i ve hihih_i işlev kaybı, birinci ve ikinci türevleridir. İstediğim şey, yukarıdaki …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Çok dengesiz bir veri setim var. Ayarlama önerisini ve kullanımını izlemeye çalışıyorum scale_pos_weightama nasıl ayarlayacağımı bilmiyorum. Gördüğümü görebiliyorum RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight dolayısıyla pozitif bir numunenin gradyanı daha etkili olacaktır. Ancak, xgboost kağıdına göre , gradyan istatistiği her zaman yerel olarak kullanılır = belirli bir ağaçtaki …

26 unbalanced-classes  xgboost 

Min_child_weight parametresinin xgboost içindeki tanımı şöyledir: Bir çocukta ihtiyaç duyulan minimum örnek ağırlığı (kendir) toplamı. Ağaç bölüm adımı, örneğin ağırlık toplamının min_child_weight değerinden daha az olduğu bir yaprak düğümüyle sonuçlanırsa, oluşturma işlemi daha fazla bölümlendirme yapacaktır. Doğrusal regresyon modunda, bu sadece her düğümde olması gereken minimum örnek sayısına karşılık gelir. …

23 machine-learning  xgboost  hessian 

XGBoost'un nasıl çalıştığını anlamaya çalışıyorum. Degrade artırılmış ağaçların Python sklearn'de nasıl çalıştığını zaten anlıyorum. Benim için net olmayan şey, XGBoost'un aynı şekilde, ancak daha hızlı çalışması veya python uygulaması arasında temel farklılıklar olup olmadığıdır. Bu makaleyi okuduğumda http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Bana öyle geliyor ki XGboost'tan çıkan sonuç Python uygulamasında olduğu gibi, ancak …

20 scikit-learn  boosting  gbm  xgboost 

Birçok algoritma ile çalışıyorum: RandomForest, DecisionTrees, NaiveBayes, SVM (çekirdek = doğrusal ve rbf), KNN, LDA ve XGBoost. SVM dışında hepsi oldukça hızlıydı. O zaman daha hızlı çalışmak için özellik ölçeklendirmesi gerektiğini bilmeliyim. Sonra aynı şeyi diğer algoritmalar için de yapmam gerekip gerekmediğini merak etmeye başladım.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Ağaçları torbalama veya artırma fikirleri hakkında birçok blog yazısı, YouTube videosu vb. Var . Genel anlayışım, her biri için sözde kod: torbalama: Örneklerin% x'i ve özelliklerin% y'i N rasgele örneği alın Modelinizi (örn. Karar ağacı) N Her bir N ile tahmin edin Nihai tahmini almak için tahminleri ortalayın Arttırılması: Modelinizi …

17 cart  boosting  xgboost  bagging 

Diyelim ki çoğunlukla kategorik özelliklere sahip bir ikili sınıflandırma problemimiz var. Öğrenmek için bazı doğrusal olmayan modeller (örneğin, XGBoost veya Rastgele Ormanlar) kullanıyoruz. Kişi hala çok eşbiçimli olma konusunda endişelenmeli mi? Neden? Yukarıdakilerin cevabı doğruysa, bu tip doğrusal olmayan modelleri kullandığını düşünerek nasıl mücadele etmeliyiz?

13 classification  random-forest  multicollinearity  xgboost 

Son zamanlarda XGBoost algoritmasını gözden geçirdim ve bu algoritmanın eğitim aşamasında eksik verileri (çarpışma gerektirmeden) işleyebildiğini fark ettim. XGboost'un yeni gözlemleri tahmin etmek için kullanıldığında (eksik veri gerektirmeden) eksik veriyi işleyip işleyemeyeceğini veya eksik verileri etkilemek için gerekli olup olmadığını merak ediyordum. Şimdiden teşekkürler.

12 machine-learning  missing-data  data-imputation  xgboost 

XGBoost'ta doğrusal objektif fonksiyonun ve doğrusal takviyelerin nasıl uygulanacağını biliyorum. Benim somut sorum şudur: algoritma artık (veya negatif eğime) uyduğunda, her adımda bir özellik (yani tek değişkenli model) veya tüm özellikler (çok değişkenli model) kullanıyor mu? XGBoost'taki doğrusal artışlarla ilgili belgelere yapılan herhangi bir referans takdir edilecektir. DÜZENLEME: XGBoost'ta 'güçlendirici' …

9 regression  machine-learning  boosting  xgboost