«boosting» etiketlenmiş sorular

Bu scikit GradientBoosting'in binom sapma kaybı fonksiyonudur, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * …

11 machine-learning  scikit-learn  boosting  loss-functions 

Rastgele Ormanlar (Breiman, 1999) makalesinin 7. bölümünde yazar şu varsayımı belirtmektedir: "Adaboost Rastgele Bir Orman". Bunu kanıtlayan veya çürüten oldu mu? Bu yazıyı ispatlamak veya çürütmek için neler yapıldı?

11 machine-learning  random-forest  boosting 

Sınıflandırma görevleri ve özellikle Adaboost için algoritmaları artırma üzerine biraz okudum. Adaboost'un amacının birkaç "zayıf öğrenici" almak olduğunu ve eğitim verilerinin bir dizi yinelemesi yoluyla, sınıflandırıcıların, model (ler) in tekrar tekrar hata yaptığı sınıfları tahmin etmeyi öğrenmeye ittiğini anlıyorum. Ancak, yaptığım okumaların çoğunun neden zayıf sınıflandırıcı olarak karar ağaçlarını kullandığını …

11 machine-learning  classification  algorithms  boosting 

Rastgele Ormanlar veya Aşırı Gradient Boosting (XGBoost) gibi algoritmaları kullanırken, tahmin edilen her değer için bir güven puanı almanın bir yolu var mı (buna güven değeri veya olasılığı da diyebiliriz)? Diyelim ki bu güven puanı 0 ile 1 arasında değişiyor ve belirli bir tahminden ne kadar emin olduğumu gösteriyor . …

11 r  regression  random-forest  prediction  boosting 

Basit bir örnek uğruna iki doğrusal regresyon modeli olduğunu varsayalım. Model 1 sahiptir üç belirleyicileri x1a, x2bvex2c Model 2, model 1'den üç öngörücüye ve iki ek öngörücüye sahiptir x2avex2b Kitle varyansı olduğu açıklanmıştır nüfus regresyon denklemi vardır Model 1 için ve Model 2 için artan varyans nüfus içinde Model 2 …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Friedman tarafından önerildiği gibi gradyan ağacı güçlendirmesi J, temel öğrenciler olarak terminal düğümleri (= yapraklar) olan karar ağaçlarını kullanır . Tam olarak Jdüğümleri olan bir ağacı büyütmenin birkaç yolu vardır, örneğin bir ağacı ilk derinlikte veya genişlikte ilk şekilde büyütebilir, ... JDegrade ağacı güçlendirmek için tam olarak terminal düğümleri ile …

10 r  cart  boosting 

XGBoost'ta doğrusal objektif fonksiyonun ve doğrusal takviyelerin nasıl uygulanacağını biliyorum. Benim somut sorum şudur: algoritma artık (veya negatif eğime) uyduğunda, her adımda bir özellik (yani tek değişkenli model) veya tüm özellikler (çok değişkenli model) kullanıyor mu? XGBoost'taki doğrusal artışlarla ilgili belgelere yapılan herhangi bir referans takdir edilecektir. DÜZENLEME: XGBoost'ta 'güçlendirici' …

9 regression  machine-learning  boosting  xgboost 

Sorular: Arttırılmış regresyon ağaçları (BRT) ve genelleştirilmiş arttırılmış modeller (GBM) arasındaki farklar nelerdir? Bunlar birbirinin yerine kullanılabilir mi? Biri diğerinin belirli bir şekli mi? Ridgeway neden Friedman'ın daha önce "Gradient Boosting Machine" (GBM) olarak önerdiğini tanımlamak için "Genelleştirilmiş Artırılmış Regresyon Modelleri" (GBM) ifadesini kullandı? Bu iki kısaltma aynıdır, aynı şeyi …

9 machine-learning  boosting  gbm 

Rastgele Orman'da her ağaç, verilerin benzersiz bir takviye örneğine paralel olarak büyütülür. Her takviye örneğinin benzersiz gözlemlerin yaklaşık% 63'ünü içermesi beklendiğinden, bu, ağacın test edilmesi için kullanılabilecek gözlemlerin yaklaşık% 37'sini dışarıda bırakır. Şimdi, Stokastik Degrade benzer bir tahmini var gibi görünüyor :OOBerrorOOBerrorOOB_{error} Bag.fraction 0 değerinden daha büyük olarak ayarlanırsa (0,5 …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Artırıcı ağaçlar modelinde 3 ayar parametresi olduğunu, yani ağaç sayısı (yineleme sayısı) büzülme parametresi bölünme sayısı (her bir kurucu ağacın büyüklüğü) Benim sorum: ayarlama parametrelerinin her biri için, optimal değerini nasıl bulabilirim? Hangi yöntem? Şunu unutmayın: büzülme parametresi ve ağaç sayısı parametresi birlikte çalışır, yani büzülme parametresi için daha küçük …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Diyelim ki 4 olası olayın sıklık örneğine sahibim: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 ve olaylarımın gerçekleşmesi için beklenen olasılıklarım var: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dört olayın gözlemlenen frekanslarının toplamı ile (18) Olayların beklenen frekanslarını hesaplayabilir …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom