«gbm» etiketlenmiş sorular

GBM ve XGBOOST arasındaki önemli farkları anlamaya çalışıyorum. Google'ı denedim, ancak iki algoritma arasındaki farkları ve xgboost'un neden hemen hemen her zaman GBM'den daha iyi performans gösterdiğini açıklayan iyi cevaplar bulamadım. XGBOOST'ı bu kadar hızlı yapan nedir?

39 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Şu anda XGBoost'u 21 özellikli bir veri setinde kullanıyorum (yaklaşık 150 özellik listesinden seçildi), sonra ~ 98 özellik elde etmek için bir sıcak kodlu. Bu 98 özellikten birkaçı biraz fazladır, örneğin: değişken (özellik) da B olarak görünürbirbirA veCBbirBbir\frac{B}{A} .CbirCbir\frac{C}{A} Sorularım: Nasıl ( varsa? ) Karar Ağaçları kolu çoklu doğrusal Boosted …

23 feature-selection  correlation  xgboost  gbm 

Bildiğim kadarıyla, modelleri sıralamak için öğrenmeyi eğitmek için veri kümesinde üç şeye sahip olmanız gerekir: etiket veya alaka düzeyi grup veya sorgu kimliği özellik vektörü Örneğin, Microsoft Öğrenme Sıralaması veri kümesi bu biçimi (etiket, grup kimliği ve özellikler) kullanır. 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 2:0.166667 ... Ben …

14 search  ranking  xgboost  gbm 

arka fon: içinde xgboost yineleme denemeden bir ağaç sığacak şekilde f t baştan n objektif aşağıdaki minimize örnekler:tttftftf_tnnn Σi = 1n[ gbenft( xben) + 12hbenf2t( xben) ]Σben=1n[gbenft(xben)+12hbenft2(xben)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] burada birinci derece ve önceki iyi tahmini üzerinde ikinci derece türevleridir y (yineleme gelen t - 1 ):gben, sbengben,hbeng_i, h_iy^y^\hat{y}t - …

12 xgboost  gbm