«data-mining» etiketlenmiş sorular

Youtube'da video izledikten sonra, varyasyonel çıkarımın ne olduğunu gerçekten tanımlayamıyorum gibi hissediyorum. Video derslerini izlerken prosedürleri takip edebilirim. Ama gerçekte ne olduğunu tanımlamak zor. Bunu duymayı umuyorum.

11 machine-learning  mathematical-statistics  data-mining 

Birisi bana karar ağaçları için Gini safsızlığı ve bilgi kazancı ne zaman kullanılacağını açıklayabilir mi? Hangisini en iyi kullanacağımın durumlarını / örneklerini verebilir misiniz?

11 machine-learning  classification  data-mining  cart 

Kısa bir süre önce, takip ettiğim sürecin (bir yüksek lisans tezinin bileşeni) aşırı uyumlu olarak görülebileceği söylendi. Bunu daha iyi anlamak ve başkalarının hemfikir olup olmadığını görmek istiyorum. Makalenin bu bölümünün amacı ; Degrade Artırılmış Regresyon Ağaçlarının performansını Rastgele Ormanlara karşı bir veri setinde karşılaştırın. Seçilen son modelin (GBM veya …

11 machine-learning  data-mining  predictive-models 

İnternette PCA eğitimi için arama yapmak binlerce sonuç (hatta videolar) verir. Eğiticilerin çoğu çok iyi. Ancak, PCA'nın gösterim için kullanabileceğim bazı veri kümeleri kullanılarak açıklandığı pratik bir örnek bulamıyorum. PCA analizi öncesi ve sonrası (100s boyutu ile veri satırları 10000s değil) çizmek kolay bazı küçük veri seti sağlayan bir öğretici …

11 data-visualization  dataset  pca  data-mining 

İlişkilendirme kuralları için madencilik işlemlerinde R (ve arules paketini) kullanıyorum. Yapmak istediğim kuralları oluşturmak ve daha sonra yeni verilere uygulamak. Örneğin, biri kurallı olan birçok kuralım olduğunu varsayalım {Beer=YES} -> {Diapers=YES}. Sonra kayıtlardan birinin bira satın aldım ama çocuk bezi değil yeni işlem verileri var. LHS'nin karşılandığı, ancak henüz RHS'nin …

11 r  data-mining  association-rules 

Bir isim: ilk olarak, muhtemelen bir orta ve soyadı. Herkese açık veri kümelerini kullanarak bir addan ne kadar bilgi çıkarabileceğinizi merak ediyorum. ABD nüfus sayımı verilerini kullanarak düşük bir olasılık (girişe bağlı olarak) arasında herhangi bir yerde aşağıdakileri elde edebileceğinizi biliyorum: 1) Cinsiyet. 2) Yarış. Örneğin, Facebook, kullanıcıların sitelerinin kullanıcılarının …

11 dataset  data-mining  census 

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Lojistik regresyon modeline sahip bazı özelliklere dayanarak öğrencilerin başarı veya başarısızlıklarını tahmin etmeye çalışıyorum. Modelin performansını artırmak için, öğrencileri bariz farklılıklara dayanarak farklı gruplara ayırmayı ve her grup için ayrı modeller oluşturmayı düşündüm. Ancak bu grupları sınavla tanımlamanın zor olabileceğini düşünüyorum, bu yüzden öğrencileri özellikleri üzerinde kümelenerek ayırmayı düşündüm. Bu, …

11 clustering  data-mining  logistic 

Başlık ilerledikçe, genel olarak veri önişlemini ve özellikle aykırı algılama tekniklerini kapsayan iyi, güncel bir kitap biliyor mu? Kitabın sadece buna odaklanması gerekmiyor, ancak yukarıda belirtilen konularla kapsamlı bir şekilde ilgilenmeli - bir başlangıç ​​noktası olan ve kağıtların bir listesini alıntılayan bir şeyden memnun olmazdım, çeşitli tekniklerin açıklamaları görünmelidir kitabın …

11 dataset  data-mining  references  outliers 

F-tedbirinin (hassasiyet ve hatırlamaya dayalı olarak) bir sınıflandırıcının ne kadar doğru olduğunun bir tahmini olduğunu anlıyorum. Ayrıca, dengesiz bir veri setimiz olduğunda , f-ölçüsü doğruluktan daha fazla tercih edilir . Basit bir sorum var (teknolojiden çok doğru terminolojiyi kullanmakla ilgili). Dengesiz bir veri kümem var ve deneylerimde f-ölçü kullanıyorum. Bir …

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

Temel bileşen analizinin (PCA) kalitesini değerlendirmek için iyi bir ölçüm nedir? Bu algoritmayı veri kümesinde gerçekleştirdim. Amacım özellik sayısını azaltmaktı (bilgi çok gereksizdi). Tutulan varyans yüzdesinin ne kadar bilgi tuttuğumuzun iyi bir göstergesi olduğunu biliyorum, gereksiz bilgileri kaldırdığımı ve bu tür bilgileri 'kaybetmediğimden emin olmak için kullanabileceğim başka bilgi metrikleri …

10 machine-learning  pca  data-mining  information-theory 

Obama'nın yeniden seçim kampanyasında veri madenciliği ekibi hakkında bu makaleye rastladım . Ne yazık ki, makale istatistiksel algoritmaların gerçek makineleri hakkında çok bulanık. Ancak, sanki genel teknikler sosyal ve siyasal bilimlerde biliniyor gibiydi. Bu benim uzmanlık alanım olmadığından, kimse bu tür tekniklerle ilgili literatüre (genel bakış) işaret edebilir mi?

10 data-mining  social-network  social-science 

Formun bir GLMM var: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Kullandığımda , araç paketinden veya drop1(model, test="Chi")kullandığımdan farklı sonuçlar alıyorum . Bu son ikisi aynı cevapları verir.Anova(model, type="III")summary(model) Bir grup uydurma veri kullanarak, bu iki yöntemin normalde farklı olmadığını gördüm. Dengeli doğrusal …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Genellikle buradaki veri madencilerinin bu terimi kullandığını duydum. Sınıflandırma problemleri üzerinde çalışan bir istatistikçi olarak, "bir sınıflandırıcı yetiştir" terimine aşinayım ve "bir model öğren" in aynı şey olduğunu varsayıyorum. "Sınıflandırıcı yetiştir" terimini umursamıyorum. Bu, eğitim verileri model parametrelerinin iyi veya "geliştirilmiş" tahminlerini almak için kullanıldığından bir modelin takılması fikrini tasvir …

10 classification  data-mining  terminology  model 

Metin madenciliği için geleneksel özellik yapım yaklaşımı, kelime torbası yaklaşımıdır ve belirli bir metin belgesini karakterize eden özellik vektörünü ayarlamak için tf-idf kullanılarak geliştirilebilir. Şu anda, özellik vektörü oluşturmak için bi-gram dil modeli veya (N-gram) kullanmaya çalışıyorum, ancak bunu nasıl yapacağımı tam olarak bilmiyorum? Sadece kelime torbası yaklaşımını izleyebilir miyiz, …

10 machine-learning  data-mining  text-mining  natural-language  language-models