«information-retrieval» etiketlenmiş sorular

Ele aldığım sorun kısa metinleri birden çok sınıfa ayırmak. Şu anki yaklaşımım tf-idf ağırlıklı terim frekanslarını kullanmak ve basit bir lineer sınıflandırıcıyı (lojistik regresyon) öğrenmek. Bu gayet iyi çalışıyor (test setinde yaklaşık% 90 makro F-1, eğitim setinde yaklaşık% 100). Büyük bir sorun görünmeyen kelimeler / n-gramdır. Diğer özellikleri, örneğin dağıtım …

19 machine-learning  classification  feature-selection  logistic-regression  information-retrieval 

Bir arama motoru veya bir öneri sistemi için bir sıralama oluştururken, bir girişin alaka düzeyini belirlemek için tıklama sıklığına güvenmek geçerli midir?

17 recommender-system  information-retrieval 

corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Kullanmam gereken minimum, maksimum ve "makul" miktarda LSTM hücresi ile ilgili herhangi bir temel kural (veya gerçek kurallar) var mı? Özellikle ben ilişkin am BasicLSTMCell TensorFlow ve gelen num_unitsmülk. Lütfen şu şekilde tanımlanan bir sınıflandırma sorunum olduğunu varsayalım: t - number of time steps n - length of input vector …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Binlerce dizgi listem var ve her listenin yaklaşık 10 dizesi var. Belirli bir listedeki dizelerin çoğu çok benzerdir, ancak bazı dizeler diğerleriyle tamamen ilgisizdir ve bazı dizeler alakasız kelimeler içerir. Kanonik bir ipin gürültülü varyasyonları olarak düşünülebilir. Her liste bu standart dizeye dönüştürecek bir algoritma veya kütüphane arıyorum. İşte böyle …

10 nlp  similarity  information-retrieval 

Bir engellenecek kelimeler listesinin nasıl seçileceğine dair bazı ipuçları arıyorum. Birisi önişleme ve filtreleme için veri kümesinin kendisinden engellenecek kelime listelerini çıkarmak için iyi bir yöntem biliyor mu / önerebilir mi? Veri: birkaç yıl içinde değişken uzunlukta (arama ve tam cümleler (200 karaktere kadar)) çok sayıda insan metni girişi. Metin …

9 data-mining  nlp  information-retrieval  language-model