«boosting» etiketlenmiş sorular

Gradyan arttırıcı makine algoritmasını caretR'deki paket üzerinden deniyorum. Küçük bir kolej veri kümesi kullanarak, aşağıdaki kodu koştu: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Algoritmaları artırmak için, oldukça iyi geliştiklerini söyleyebilirim. 1995'in başlarında AdaBoost tanıtıldı, bir süre sonra Gradient Boosting Machine (GBM) oldu. Son zamanlarda, doğru, aşırı uyumu ele alan ve birden fazla Kaggle yarışmasının galibi haline gelen XGBoost 2015 civarında piyasaya sürüldü. 2017 yılında LightGBM Microsoft tarafından tanıtıldı, XGBoost'a kıyasla önemli ölçüde daha …

14 random-forest  boosting  bagging 

AdaBoost sınıflandırıcısının işte defalarca belirtildiği gibi duyduğum gibi, nasıl çalıştığı ve ne zaman kullanılacağı konusunda daha iyi bir fikir edinmek istedim. Devam ettim ve Google'da bulduğum birkaç makaleyi ve öğreticiyi okudum, ancak sınıflandırıcının hala anlamada sorun yaşadığım yönleri var: Gördüğüm çoğu öğretici, AdaBoost'u birçok sınıflandırıcının en iyi ağırlıklı kombinasyonunu bulmaktan …

14 machine-learning  boosting  adaboost 

Gentleboost adı verilen bir destek varyantı var . Nazik artış , daha iyi bilinen AdaBoost'tan nasıl farklıdır ?

14 machine-learning  boosting 

Aslında, kısmi bağımlılık planıyla bir kişinin neyi gösterebileceğini anladığımı sanıyordum, ama çok basit bir varsayımsal örnek kullanarak oldukça şaşırdım. Aşağıdaki kod yığınında, üç bağımsız değişken ( a , b , c ) ve bir bağımlı değişken ( y ) ile c , y ile yakın bir doğrusal ilişki gösterirken, a …

14 r  random-forest  boosting  partial-plot 

Enterprise miner kullanarak olay oranı yaklaşık% 1 ile bir veri kümesinde degrade artırmayı deniyorum, ancak herhangi bir çıktı üretmek için başarısız. Sorum şu ki, karar ağacı temelli bir yaklaşım olduğu için, bu kadar düşük bir olayla gradyan artırmayı kullanmak doğru mu?

14 boosting  unbalanced-classes  rare-events  gradient 

Mükemmel İstatistiksel modellemeyi okuyarak : İki kültür (Breiman 2001) , geleneksel istatistiksel modeller (örneğin, doğrusal regresyon) ve makine öğrenme algoritmaları (örneğin, Torbalama, Rastgele Orman, Artırılmış ağaçlar ...) arasındaki tüm farkı ele geçirebiliriz. Breiman, veri modellerini (parametrik) eleştirir, çünkü gözlemlerin, İstatistikçi tarafından reçete edilen, Doğayı zayıf bir şekilde taklit edebilecek bilinen, …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Bana öyle geliyor ki, topluluk öğrenimi her zaman tek bir öğrenme hipotezinden daha iyi tahmin performansı verecek. Peki, neden onları sürekli kullanmıyoruz? Benim tahminim belki hesaplama sınırlamaları yüzünden mi? (o zaman bile zayıf tahmin ediciler kullanıyoruz, bu yüzden bilmiyorum).

13 boosting  ensemble  bagging 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 6 ay önce kapalı . Güçlendirilmiş karar ağaçlarının eğitimi için iyi bir python kütüphanesi var mı?

13 python  cart  boosting 

Doğrusal regresyon için kategorik özellikleri kodlarken, bir kural vardır: aptal sayısı toplam düzey sayısından daha az olmalıdır (eşzamanlılığı önlemek için). Karar Ağaçları için benzer bir kural var mı (torbalanmış, güçlendirilmiş)? Bunu soruyorum çünkü Python'daki standart bir uygulama, nseviyeleri benim için yetersiz görünen nmankenlere (sklearns ' OneHotEncoderveya Pandas' pd.get_dummies) genişletmek gibi …

13 categorical-data  random-forest  cart  boosting 

Makine öğrenimini keşfettiğim gibi farklı ilginç teknikler görüyorum: algoritmaları otomatik olarak grid search, Daha doğru aynı "tip" farklı algoritmalar kombinasyonu ile sonuçlarını en olsun boosting, O en, (algoritmaların fakat aynı tip) farklı algoritmalar kombinasyonu ile daha doğru sonuçlar elde stacking, ve muhtemelen daha fazlasını keşfetmem gerek ... Sorum şu: tüm …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Artırma yöntemlerinin aykırı değerlere duyarlı olduğunu söyleyen birçok makale buldum, ancak nedenini açıklayan bir makale yok. Deneyimlerime göre aykırı değerler herhangi bir makine öğrenimi algoritması için kötüdür, ancak artırma yöntemleri neden özellikle hassastır? Aşağıdaki algoritmalar aykırı değerlere duyarlılık açısından nasıl sıralanır: boost ağacı, rastgele orman, sinir ağı, SVM ve lojistik …

12 machine-learning  svm  outliers  cart  boosting 

Ben ilgili bir soru sormak istiyorum bu bir . Burada xgboost için özel kayıp fonksiyonu yazma bir örnek buldum : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Karar Güdük kullanarak Adaboost uygulamak istiyorum. Adaboost'un her yinelemesinde veri setimizin özellikleri kadar karar kütüğü yapmak doğru mu? Örneğin, 24 özellikli bir veri kümem varsa, her yinelemede 24 karar kütüğü sınıflandırıcısı olmalı mı? Yoksa rastgele olarak bazı özellikleri seçmeli ve tüm özellikler yerine sınıflandırıcı yapmalı mıyım?

12 machine-learning  classification  cart  boosting 

Adaboost'un bir dizi zayıf sınıflandırıcının doğrusal bir kombinasyonunu kullanarak güçlü bir sınıflandırıcı oluşturmaya çalıştığını biliyorum . Ancak, bazı durumlarda ve durumlarda Adaboost ve SVM'lerin (SVM güçlü bir sınıflandırıcı olmasına rağmen) uyum içinde çalıştığını gösteren bazı makaleler okudum . Birlikte nasıl çalıştıklarını mimari ve programlama perspektifinden kavrayamıyorum. Birlikte nasıl çalıştıklarını net …

11 classification  svm  references  boosting