«feature-selection» etiketlenmiş sorular

Denetimsiz algoritmalar (kümeleme) kullanarak grup birlikte farklı veri kümeleri yapmaya çalışıyorum. Sorun, birçok özelliğim (~ 500) ve az miktarda vaka (200-300) olmasıdır. Şimdiye kadar sadece verileri eğitim setleri olarak etiketlediğim sınıflandırma problemleri yapıyordum. Orada, özelliklerin önceden seçilmesi için bazı kriterler (yani random.forest.importance veya information.gain) kullandım ve daha sonra ilgili özellikleri …

9 r  clustering  feature-selection  unsupervised-learning 

Amacım izinsiz giriş tespiti amacıyla kümeleme / anormallik algılama kullanarak ağ günlüklerini (ör. Apache, syslog, Active Directory güvenlik denetimi vb.) Analiz etmektir. Günlüklerden IP adresi, kullanıcı adı, ana bilgisayar adı, hedef bağlantı noktası, kaynak bağlantı noktası ve benzeri gibi çok fazla metin alanım var (toplam 15-20 alanda). Günlüklerde bazı saldırılar …

9 feature-selection  outliers  unsupervised-learning  feature-construction 

Formun boyuna verilerine sahip olduğumu varsayalım Y =(Y1, … ,YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)(Birden fazla gözlemim var, bu sadece tek bir form). İle ilgili kısıtlamalarla ilgileniyorumΣΣ\Sigma. KısıtlanmamışΣΣ\Sigma almaya eşdeğerdir Yj=αj+Σℓ = 1j - 1φℓ jYj - ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj Y_j = …

9 feature-selection  lasso  shrinkage 

Diyelim ki 4 olası olayın sıklık örneğine sahibim: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 ve olaylarımın gerçekleşmesi için beklenen olasılıklarım var: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dört olayın gözlemlenen frekanslarının toplamı ile (18) Olayların beklenen frekanslarını hesaplayabilir …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Lojistik regresyon bağlamında özellik seçimi için permütasyon analizi konusunda kafam karıştı. Rastgele permütasyon testinin net bir açıklamasını verebilir misiniz ve özellik seçimi için nasıl uygulanır? Muhtemelen tam algoritma ve örneklerle. Son olarak, Kement veya LAR gibi diğer büzülme yöntemleriyle nasıl karşılaştırılır?

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Veri setim, toplam organizma ölümünü veya bir organizmanın kıyı, orta kanal ve açık deniz olmak üzere üç yer tipinde hayatta kalmasını içeriyor. Aşağıdaki tablodaki sayılar site sayısını temsil eder. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 % 100 mortalitenin meydana geldiği site sayısının site …

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

Son zamanlarda okuduğum bir makalede veri analizi bölümünde şu bitle karşılaştım: Veri tablosu daha sonra dokulara ve hücre çizgilerine ayrıldı ve iki alt tablo, tek bir tablo haline getirilmeden önce ayrı olarak medyanla parlatıldı (satırlar ve sütunlar, medyan 0 olacak şekilde tekrar tekrar ayarlandı). Sonunda, test edilen örneklerin en az …

9 feature-selection  median  genetics 

Latent Semantik İndeksleme (LSI) için çekirdek ana bileşen analizini (kPCA) PCA ile aynı şekilde kullanmak mümkün müdür? prcompPCA işlevini kullanarak R'de LSI gerçekleştiriyorum ve ilkinden en yüksek yüklemelere sahip özellikleri çıkarıyorumkkkbileşenler. Böylece bileşeni en iyi açıklayan özellikleri elde ediyorum. kpcaFonksiyonu ( kernlibpaketten) kullanmaya çalıştım ancak özelliklerin ağırlıklarına temel bir bileşene …

9 r  pca  feature-selection  kernel-trick 

uygun öngörücülerle çok değişkenli doğrusal regresyonda öngörücülerin seçimi için, tüm alt kümelerini açıkça test etmeden öngörücülerin 'optimal' alt kümesini bulmak için hangi yöntemler mevcuttur ? 'Uygulamalı Hayatta Kalma Analizi'nde Hosmer & Lemeshow, Kuk'un yöntemine atıfta bulunuyor, ancak orijinal kağıdı bulamıyorum. Herkes bu yöntemi veya daha da iyisi, daha modern bir …

9 modeling  regression  multivariable  model-selection  feature-selection