«feature-selection» etiketlenmiş sorular

Wikipedia'dan boyutsallık azaltma veya boyutsal küçültme, incelenen rastgele değişken sayısını azaltma işlemidir ve özellik seçimi ve özellik çıkarımına ayrılabilir. Özellik seçimi ve özellik çıkarma arasındaki fark nedir? Doğal Dil İşleme görevinde bir boyutluluk azaltma örneği nedir?

58 feature-selection  feature-extraction  dimensionality-reduction 

Makine öğrenimi uygulaması için zaman verilerini ele almak için kullanılan ortak / en iyi uygulamalar nelerdir? Örneğin, veri setinde "2014-05-05" gibi olay zaman damgasına sahip bir sütun varsa, varsa bu sütundan yararlı özellikleri nasıl çıkarabilirsiniz? Şimdiden teşekkürler!

45 machine-learning  time-series  feature-selection 

Çok fazla özellik ile sorun üzerinde çalışıyorum ve modellerimin eğitimi çok uzun sürüyor. Özellikleri seçmek için ileri seçim algoritması kullandım. Ancak, scikit-learn'ın ileri seçim / kademeli regresyon algoritması olduğunu mu merak ediyordum?

37 feature-selection  scikit-learn 

100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Özellikle aradığım şey, özellik mühendisliğine özgü, bazı işlevlere sahip araçlar. Kolayca düzgünleştirmek, görselleştirmek, boşlukları doldurmak, vb. Yapabilmek istiyorum. MS Excel'e benzer bir şey ama bunun yerine VB yerine R dili var.

29 feature-selection  feature-extraction  feature-construction 

Şu anda XGBoost'u 21 özellikli bir veri setinde kullanıyorum (yaklaşık 150 özellik listesinden seçildi), sonra ~ 98 özellik elde etmek için bir sıcak kodlu. Bu 98 özellikten birkaçı biraz fazladır, örneğin: değişken (özellik) da B olarak görünürbirbirA veCBbirBbir\frac{B}{A} .CbirCbir\frac{C}{A} Sorularım: Nasıl ( varsa? ) Karar Ağaçları kolu çoklu doğrusal Boosted …

23 feature-selection  correlation  xgboost  gbm 

Ben bir kaggle yarışmasına katılıyorum. Veri kümesinin yaklaşık 100 özelliği vardır ve hepsi bilinmemektedir (gerçekte neyi temsil ettikleri açısından). Temelde bunlar sadece rakamlardır. İnsanlar bu özellikler üzerinde birçok özellik mühendisliği yapıyorlar. Birinin bilinmeyen özellikler üzerinde özellik mühendisliğini tam olarak nasıl yapabildiğini merak ediyorum? Birisi lütfen bunu anlamama yardımcı olabilir ve …

19 machine-learning  feature-selection  feature-extraction  feature-engineering  kaggle 

Ele aldığım sorun kısa metinleri birden çok sınıfa ayırmak. Şu anki yaklaşımım tf-idf ağırlıklı terim frekanslarını kullanmak ve basit bir lineer sınıflandırıcıyı (lojistik regresyon) öğrenmek. Bu gayet iyi çalışıyor (test setinde yaklaşık% 90 makro F-1, eğitim setinde yaklaşık% 100). Büyük bir sorun görünmeyen kelimeler / n-gramdır. Diğer özellikleri, örneğin dağıtım …

19 machine-learning  classification  feature-selection  logistic-regression  information-retrieval 

Merak ediyorum, özelliklerin sayısı ile gözlem sayısı arasında herhangi bir buluşsal yöntem varsa. Açıkçası, eğer bir dizi özellik gözlem sayısına eşitse, model aşırıya kaçacaktır. Seyrek yöntemler (LASSO, elastik ağ) kullanarak modeli azaltmak için çeşitli özellikleri kaldırabiliriz. Benim sorum (teorik olarak): Model seçimini değerlendirmek için metrikleri kullanmadan önce , optimum özellik …

17 feature-selection  model-selection 

corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Bu soruya net bir cevap olmadığını biliyorum, ama diyelim ki çok fazla veri içeren devasa bir sinir ağım var ve girişe yeni bir özellik eklemek istiyorum. "En iyi" yol, ağı yeni özellik ile test etmek ve sonuçları görmek olacaktır, ancak özelliğin BENZERSİZ YARDIMCI olup olmadığını test etmenin bir yöntemi var …

16 machine-learning  neural-network  feature-selection  feature-extraction 

Özellik çıkarma ve özellik seçimi, temel olarak verilerin boyutsallığını azaltır, ancak özellik çıkarma, eğer haklıysam, verileri daha ayrılabilir hale getirir. Hangi teknik diğerine ve ne zaman tercih edilir ? Özellik seçimi orijinal verileri ve özelliklerini değiştirmediği için, üzerinde çalıştığınız özelliklerin değişmemesi önemli olduğunda özellik seçimini kullanacağınızı düşünüyorum. Ama neden böyle …

16 feature-selection  feature-extraction  dimensionality-reduction 

Kategorik ve sürekli olmak üzere iki tür giriş özelliğimiz olduğunu varsayalım. Kategorik veriler bir sıcak kod A olarak temsil edilebilirken, sürekli veriler N-boyutlu uzayda sadece bir B vektörüdür. Görünüşe göre sadece concat (A, B) kullanmak iyi bir seçim değildir çünkü A, B tamamen farklı veri türleridir. Örneğin, B'den farklı olarak, …

16 neural-network  feature-selection  categorical-data  feature-construction 

Birçok veri kaynağından oluşan bir dizi gevşek yapılandırılmış veri (örneğin, Web tabloları / Bağlantılı Açık Veri) varsayalım. Bunu izleyen ortak bir şema yoktur ve her kaynak, değerleri tanımlamak için eş anlamlı öznitelikler kullanabilir (örn. "Milliyet" ve "bornIn"). Amacım, bir şekilde tanımladıkları varlıkları "tanımlayan" bazı "önemli" özellikler bulmaktır. Dolayısıyla, böyle bir …

15 machine-learning  statistics  feature-selection 

Oldukça önyargılı bir ikili veri setim var - Negatif sınıfın pozitif sınıftan 1000 kat daha fazla örneği var. Bu veriler üzerinde bir Ağaç Topluluğu (Ekstra Rastgele Ağaçlar veya Rastgele Orman gibi) eğitmek istiyorum, ancak pozitif sınıfın yeterli örneklerini içeren eğitim veri kümeleri oluşturmak zor. Pozitif ve negatif örneklerin sayısını normalleştirmek …

14 machine-learning  feature-selection  unbalanced-classes