«classification» etiketlenmiş sorular

R'deki gbm paketini kullanarak bazı büyük veri kümeleri ile çalışıyorum. Hem yordayıcı matrisim hem de yanıt vektörüm oldukça seyrek (yani çoğu giriş sıfır). Burada yapıldığı gibi, bu seyreklikten yararlanan bir algoritma kullanarak karar ağaçları oluşturmayı umuyordum ). Bu makalede, benim durumumda olduğu gibi, çoğu öğe birçok olası özellikten sadece birkaçına …

11 r  regression  machine-learning  classification  cart 

Bir sınıflandırıcı, SVM veya rastgele orman veya başka bir sınıflandırıcı eğitmek istiyorum. Veri kümesindeki özelliklerden biri 1000 seviyeli kategorik bir değişkendir. Bu değişkenteki seviye sayısını azaltmanın en iyi yolu nedir? R'de combine.levels(), Hmisc paketinde nadir seviyeleri birleştiren bir fonksiyon var , ancak başka öneriler arıyordum.

11 classification  svm  random-forest  many-categories 

"In hiyerarşik temsiller ölçeklenebilir denetimsiz öğrenme için Evrişimsel derin inanç ağları Lee ve diğerleri tarafından". ( PDF ) Evrişimli DBN'ler önerilmektedir. Yöntem, görüntü sınıflandırması için de değerlendirilir. Küçük köşeler ve kenarlar gibi doğal yerel görüntü özellikleri olduğu için bu mantıklı geliyor. In " Eğiticisiz özelliği konvolusyanla derin inanç ağları kullanarak …

11 classification  unsupervised-learning  intuition  deep-belief-networks 

Anladığım kadarıyla, k-NN tembel bir öğrenci algoritmasıdır ve bir eğitim aşamasına ihtiyaç duymaz. Peki neden .fit()sklearn ile kullanmamız gerekiyor ve kullandığımızda ne oluyor?

11 classification  scikit-learn  k-nearest-neighbour 

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Farklı tanımlanmış kategorilere ait bir kelime listem var. Her kategorinin kendi deseni vardır (örneğin biri özel karakterlerle sabit bir uzunluğa sahiptir, diğeri sadece bu "kelime", ... kategorisinde gerçekleşen karakterlerden oluşur.). Örneğin: "ABC" -> type1 "ACC" -> type1 "a8 219" -> type2 "c 827" -> type2 "ASDF 123" -> type2 "123123" …

11 machine-learning  classification  similarities  supervised-learning 

Geri yayılımı kullanarak sınıflandırma için derin bir sinir ağını eğitmeye çalışıyorum. Özellikle, görüntü sınıflandırması için, Tensor Flow kütüphanesini kullanarak evrişimli bir sinir ağı kullanıyorum. Eğitim sırasında garip bir davranış yaşıyorum ve bunun tipik olup olmadığını ya da yanlış bir şey yapıp yapmadığımı merak ediyorum. Böylece, evrişimli sinir ağımın 8 katmanı …

11 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

Yanlış pozitif olmamak çok daha önemli bir ikili sınıflandırma sorunu üzerinde çalışıyorum; oldukça yanlış negatif bir sürü ok. Örneğin sklearn'de bir grup sınıflandırıcı kullandım, ancak hiçbirinin hassas hatırlama dengesini açıkça ayarlama yeteneğine sahip olmadığını düşünüyorum (oldukça iyi sonuçlar üretiyorlar, ancak ayarlanabilir değiller). Hangi sınıflandırıcılar ayarlanabilir hassasiyet / geri çağırma özelliğine …

11 classification  precision-recall 

Sınıflandırma görevleri ve özellikle Adaboost için algoritmaları artırma üzerine biraz okudum. Adaboost'un amacının birkaç "zayıf öğrenici" almak olduğunu ve eğitim verilerinin bir dizi yinelemesi yoluyla, sınıflandırıcıların, model (ler) in tekrar tekrar hata yaptığı sınıfları tahmin etmeyi öğrenmeye ittiğini anlıyorum. Ancak, yaptığım okumaların çoğunun neden zayıf sınıflandırıcı olarak karar ağaçlarını kullandığını …

11 machine-learning  classification  algorithms  boosting 

Çok dengesiz bir veri setim olduğu için (% 9 olumlu sonuçlar), hassas hatırlama eğrisinin ROC eğrisinden daha uygun olduğuna karar verdim. PR eğrisi altındaki alanın benzer özet ölçüsünü aldım (eğer ilgileniyorsanız .49), ancak nasıl yorumlanacağından emin değilim. ROC için iyi bir AUC'nin .8 veya üstü olduğunu duydum, ancak genel hatırlatmalar, …

11 classification  precision-recall  auc 

Okuduğum bazı makalelere göre, Jeffries ve Matusita mesafesi yaygın olarak kullanılıyor. Ancak aşağıdaki formül dışında bunun hakkında fazla bilgi bulamadım JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Karekök hariç Öklid mesafesine benzer E (x, y) =∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} JM mesafesinin, sınıflandırma açısından Öklid mesafesinden daha güvenilir olduğu iddia edilmektedir. Herkes bu farkın JM mesafesini neden …

11 classification  k-nearest-neighbour  euclidean 

Sigorta riski tahmin modelini geliştirmek için çalışıyorum. Bu modeller, havayolu no-show tahmini, donanım arıza tespiti, vb. Gibi "nadir olaylara" sahiptir. Veri setimi hazırlarken sınıflandırmayı uygulamaya çalıştım, ancak negatif vakaların yüksek oranı nedeniyle yararlı sınıflandırıcılar alamadım . Bir lise istatistik dersinin ötesinde istatistik ve modelleme verileri konusunda çok fazla deneyimim yok, …

11 classification  predictive-models  scikit-learn  poisson-process 

1000 pozitif ile 100.000 gözlemim (9 kukla gösterge değişkeni) var. Bu durumda Lojistik Regresyon iyi çalışmalıdır, ancak kesim olasılığı beni şaşırtıyor. Ortak literatürde, 1 ve 0'ları tahmin etmek için% 50 kesme seçiyoruz. Modelim ~% 1 maksimum değer verdiğinden bunu yapamam. Yani bir eşik 0,007'de veya onun etrafında bir yerde olabilir. …

11 regression  logistic  classification  generalized-linear-model  roc 

PCA'yı, örnekleri iki sınıfa ayırmak için denetimli makine öğreniminde kullanılacak daha küçük değişkenler kümesi, yani temel bileşenler olarak çalıştırmak için çalıştırdım. PCA'dan sonra PC1 verilerdeki varyansın% 31'ini, PC2% 17'sini, PC3% 10'unu, PC4% 8'ini, PC5% 7'sini ve PC6% 6'sını oluşturur. Ancak, iki sınıf arasındaki PC'ler arasındaki ortalama farklılıklara baktığımda, şaşırtıcı bir …

11 machine-learning  classification  pca  dimensionality-reduction 

Diyelim ki sınıf etiketleriyle ilişkili bir dizi örneğim var. Bu örneklerin nasıl etiketlendiği önemli değil , sınıf üyeliğinin ne kadar kesin olduğu. Her örnek tam olarak bir sınıfa aittir . Diyelim ki her sınıf üyeliğinin kesinliğini, 1'den 3'e (sırasıyla çok kesin - belirsiz) giden bir nominal özellik ile ölçebilirim. Böyle …

11 classification  weka  uncertainty