«boosting» etiketlenmiş sorular

Son zamanlarda, adaboost, gradient boost gibi artırıcı algoritmalar öğrenmeye çalışıyordum ve en yaygın kullanılan zayıf öğrenicinin ağaçlar olduğu gerçeğini biliyordum. Gerçekten bilmek istiyorum, sinir ağlarını temel öğrenici olarak kullanmak için bazı başarılı örnekler (bazı makaleleri veya makaleleri kastediyorum) var mı?

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Bir Kaggle yarışmasının ( Malware Classification ) kazanan çözümünün raporunu okuyordum . Rapor bu forum gönderisinde bulunabilir . Sorun, tren setinde 10000 element, test setinde 10000 element olan bir sınıflandırma problemiydi (dokuz sınıf, metrik logaritmik kayıptı). Yarışma sırasında, modeller test setinin% 30'una karşı değerlendirildi. Bir diğer önemli unsur, modellerin çok …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Temel bileşen analizi (PCA) yaptıktan sonra, PCA alanına yeni bir vektör yansıtmak istiyorum (yani PCA koordinat sistemindeki koordinatlarını bulmak). PCA'yı R dilinde kullanarak hesapladım prcomp. Şimdi vektörümü PCA dönme matrisi ile çarpabilmeliyim. Bu matristeki temel bileşenler satır veya sütunlar halinde mi düzenlenmelidir?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

AdaBoost'un (veya diğer arttırıcı tekniklerin) diğer öğrenme yöntemlerine kıyasla daha az veya daha fazla uyuma eğilimli olup olmadığı konusunda çeşitli (görünüşte) çelişen ifadeler okudum. Birine ya da diğerine inanmak için iyi nedenler var mı? Eğer bağlıysa, neye bağlıdır? AdaBoost'un aşırı sığmaya daha az / daha eğilimli olmasının nedenleri nelerdir?

20 machine-learning  boosting 

XGBoost'un nasıl çalıştığını anlamaya çalışıyorum. Degrade artırılmış ağaçların Python sklearn'de nasıl çalıştığını zaten anlıyorum. Benim için net olmayan şey, XGBoost'un aynı şekilde, ancak daha hızlı çalışması veya python uygulaması arasında temel farklılıklar olup olmadığıdır. Bu makaleyi okuduğumda http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Bana öyle geliyor ki XGboost'tan çıkan sonuç Python uygulamasında olduğu gibi, ancak …

20 scikit-learn  boosting  gbm  xgboost 

Kurulumum şu şekildedir: "Uygulamalı Öngörücü Modelleme" kılavuz ilkelerini takip ediyorum. Böylece ilişkili özellikleri filtreledim ve aşağıdakilerle sonuçlandım: Eğitim setinde 4900 veri noktası ve test setinde 1600 veri noktası. 26 özelliğim var ve hedef sürekli bir değişken. caretPaketi kullanarak modelleri eğitmek için 5 kat çapraz geçerlilik uygularım . Bir MARS modeli …

20 machine-learning  boosting  overfitting 

Karar kütüğü, sadece bir bölünmüş bir karar ağacıdır. Ayrıca parçalı bir işlev olarak da yazılabilir. Örneğin, bir vektör olduğunu ve ilk bileşeni olduğunu varsayalım , regresyon ayarında bazı kararlar olabilirxxxx1x1x_1xxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases} Ama doğrusal bir model mi? nerede olarak …

19 machine-learning  cart  linear  boosting 

Öğrenme oranı parametresi ( ) Gradyan küçülür -typically her yeni baz model seri olarak bağlanır sığ tree katkısını Arttırılması de. Daha küçük adımlarda olduğu gibi anlaşılabilir olan test seti doğruluğunu önemli ölçüde arttırdığı gösterilmiştir, kayıp fonksiyonunun minimumuna daha hassas bir şekilde ulaşılabilir. ν∈ [ 0 , 1 ]ν∈[0,1]\nu \in [0,1] …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

Ders kitaplarında ve youtube derslerinde destekleme gibi yinelemeli modeller hakkında çok şey öğrendim, ama bir tahmin aralığı türetmekle ilgili hiçbir şey görmedim. Çapraz doğrulama aşağıdakiler için kullanılır: Model seçimi : Farklı modelleri deneyin ve en uygun olanı seçin. Artırma durumunda, ayarlama parametrelerini seçmek için CV kullanın. Model değerlendirmesi : Seçilen …

19 cross-validation  boosting  prediction-interval 

Alexandru Niculescu-Mizil ve Rich Caruana'nın " Kalibre Edilmiş Olasılıkları Artırmaktan Elde Etme " adlı makalesini ve bu konudaki tartışmayı okudum . Bununla birlikte, hala çok sınıflı güçlendirici sınıflandırıcımın (karar kütükleri ile hafifçe artırın) çıktısını kalibre etmek için lojistik veya Platt'ın ölçeklendirmesini anlamakta ve uygulamakta sorun yaşıyorum . Genelleştirilmiş doğrusal modellere …

19 machine-learning  boosting 

Soru Gradient Boosting ile ikili sınıflandırma yaparken tahminin aralığında nasıl tutulduğunu anlamak için uğraşıyorum .[ 0 , 1 ][0,1][0,1] İkili bir sınıflandırma problemi üzerinde çalıştığımızı varsayalım ve objektif fonksiyonumuz günlük kaybı, , burada içindeki hedef değişken ve mevcut modelimizdir.y ∈ { 0 , 1 } H- ∑ ybengünlük( Hm( xben) …

18 logistic  classification  boosting 

Genel olarak, amaç doğru dışı numune tahmin etmek sınıfı üyelik olan bir sınıflandırma problemi, içinde ne zaman gerektiğini değil bir topluluk sınıflandırıcı kullanılır? Bu soru neden Topluluk öğrenmeyi her zaman kullanmıyorsunuz? . Bu soru neden hep toplulukları kullanmadığımızı soruyor. Toplulukların, topluluk dışı bir eşdeğere göre daha kötü (sadece "daha iyi …

17 classification  boosting  ensemble  bagging 

Ağaçları torbalama veya artırma fikirleri hakkında birçok blog yazısı, YouTube videosu vb. Var . Genel anlayışım, her biri için sözde kod: torbalama: Örneklerin% x'i ve özelliklerin% y'i N rasgele örneği alın Modelinizi (örn. Karar ağacı) N Her bir N ile tahmin edin Nihai tahmini almak için tahminleri ortalayın Arttırılması: Modelinizi …

17 cart  boosting  xgboost  bagging 

Friedman'ın gradyan güçlendirme makinesi Breiman'ın Rastgele Ormanından daha iyi performans elde edebilir mi? Öyleyse, hangi koşullarda veya ne tür veri seti gbm'yi daha iyi hale getirebilir?

16 machine-learning  data-mining  random-forest  boosting 

Denetimli bir ikili sınıflandırma sorunuyla ilgileniyorum. GBM paketini bireyleri virüs bulaşmamış / virüs bulaşmış olarak sınıflandırmak için kullanmak istiyorum. Enfekte olmuş bireylerden 15 kat daha fazla enfekte olmuşum var. Dengesiz sınıf boyutlarında GBM modellerinin acı çekip çekmediğini merak ediyordum. Bu soruyu cevaplayan bir referans bulamadım. Enfekte olmamış kişilere 1, enfekte …

16 r  machine-learning  boosting  unbalanced-classes  gbm