«nlp» etiketlenmiş sorular

Çok sayıda metin belgesine sahip olmak (doğal dilde, yapılandırılmamış), bazı semantik meta verilerle açıklama eklemenin olası yolları nelerdir? Örneğin, kısa bir belge düşünün: I saw the company's manager last day. Ondan bilgi alabilmek için, daha az belirsiz olması için ek verilerle açıklanması gerekir. Bu tür meta verileri bulma süreci söz …

18 nlp  metadata  data-cleaning  text-mining 

Geçenlerde açısından rastladım Word2Vec , Sentence2Vec ve Doc2Vec ve ben vektör semantik yeni olduğum gibi karıştı tür. Birisi lütfen bu yöntemlerin farklılığını basit kelimelerle detaylandırabilir mi? Her yöntem için en uygun görevler nelerdir?

18 machine-learning  data-mining  clustering  nlp  unsupervised-learning 

İki cümleyim var, S1 ve S2. Uygulanması muhtemelen kolay olan en pratik ve başarılı (makine öğrenimi) algoritmaları nelerdir (mimari Google Inception gibi karmaşık olmadığı sürece sinir ağı tamamdır). Çok fazla zaman harcamadan iyi çalışacak bir algoritma arıyorum. Başarılı ve kullanımı kolay bulduğunuz herhangi bir algoritma var mı? Bu, kümelenme kategorisine …

18 nlp  clustering  word2vec  similarity 

Her biri 200 boyutlu ( doc2vec) olan yaklaşık 1 milyon vektörde boyutsal küçültme yapmak istiyorum . Bunun için modülden TSNEuygulama kullanıyorum sklearn.manifoldve asıl sorun zaman karmaşıklığı. Bununla birlikte method = barnes_hut, hesaplama hızı hala düşüktür. Bir süre Bellek yetersiz bile. 130G RAM ile 48 çekirdekli bir işlemcide çalıştırıyorum. Bunu paralel …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

NLP'de, Gazetteerek açıklama oluşturmak için oldukça yararlı olabilecek bir kavram vardır . Anladığım kadarıyla: Bir gazeteci, şehirler, kuruluşlar, haftanın günleri, vb. Gibi varlıkların adlarını içeren bir dizi listeden oluşur. Bu listeler, bu adların oluşumlarını metinde, örneğin adlandırılmış varlık tanıma görevi için bulmak için kullanılır. Yani aslında bir arama. Bu tür …

16 nlp  named-entity-recognition 

Mevcut belge hakkında en fazla bilgiyi içeren metnin bir kısmını çıkartma hakkında herhangi bir makale veya tartışma var mı? Örneğin, aynı etki alanından büyük bir belge topluluğum var. Metnin, tek bir belgenin bahsettiği temel bilgileri tutan kısımları vardır. Bu parçalardan bazılarını çıkarmak ve bunları metnin bir özeti olarak kullanmak istiyorum. …

16 nlp  text-mining 

Tekrarlayan Sinir Ağları ile metin oluşturma hakkında okurken, nedenini belirtmeden , kelime kelime ve diğerleri karakter karakter üretmek için bazı örnekler uygulandığını fark ettim . Peki, kelime başına metni temel alan RNN modelleri ile karakter başına metni temel alan modeller arasındaki fark nedir? Kelime tabanlı RNN daha büyük bir boyut …

15 machine-learning  neural-network  nlp  rnn 

İki kelime veya cümle arasındaki benzerliği belirlememe yardımcı olan bir Python kütüphanesi arıyorum. Bir İngilizce sözlük veya sözlük olmayan sözcük (ler) (Bu bir Kişi veya Şirket adı olabilir) ile sonuçlanacak Ses-Metin dönüştürme yapacağım Bundan sonra, bilinen bir kelime veya kelime ile karşılaştırmak gerekir. Misal: 1) Metin ses sonucuna: America Expansion'ı …

15 nlp  nltk 

Aşağıdaki sorunu çözmek istiyorum: Veri kümem olarak bir dizi cümleyim var ve yeni bir cümle yazabilmek ve yeni kümenin veri kümesindeki en çok benzediği cümleyi bulmak istiyorum. Bir örnek şöyle görünecektir: Yeni cümle: " I opened a new mailbox" Veri kümesine dayalı tahmin: Sentence | Similarity A dog ate poop …

15 python  nlp  scikit-learn  similarity  text 

Word2vector modelini kullanmak ve eğitmek için Python'da Gensim Kütüphanesi kullanıyorum. Son zamanlarda, model ağırlıklarımı (GoogleNewDataset önceden eğitilmiş modeli) gibi önceden eğitilmiş word2vec modelleriyle başlatmaya bakıyordum. Birkaç haftadır bununla mücadele ediyorum. Şimdi, gesim'de, modelimin ağırlıklarını önceden eğitilmiş model ağırlıklarıyla başlatmama yardımcı olabilecek bir işlev olduğunu araştırdım. Bu aşağıda belirtilmiştir: reset_from(other_model) Borrow …

14 python  nlp  word-embeddings  word2vec  gensim 

Farklı ayrıştırma ağacı yapılarını araştırıyorum. Yaygın olarak bilinen iki ayrıştırma ağacı yapısı şunlardır: a) Kuruma dayalı ayrıştırma ağacı ve b) Bağımlılığa dayalı ayrıştırma ağacı yapıları. Stanford NLP paketini kullanarak her iki tür ayrıştırma ağacı yapısını oluşturmak için kullanabilirsiniz. Ancak, sınıflandırma görevim için bu ağaç yapılarını nasıl kullanacağımdan emin değilim. Örneğin, …

13 machine-learning  nlp  feature-selection  feature-extraction 

2D veya 3D uygulamalarda görüntü işleme için Deep Learning'deki evrişimsel katmanların rolü ve mekanizması hakkında iyi bir genel anlayışa sahibim - görüntülerde (3B durumunda 3 kanalda) 2B desenleri yakalamaya çalışırlar. Ama son zamanlarda benim için bir çeşit sürpriz olan Doğal Dil İşleme bağlamında 1D evrişimsel katmanlara çarptım, çünkü benim anlayışımda …

13 deep-learning  nlp  convolution 

"Doğal Dili SQL Sorgusuna Dönüştürme" adlı bir sistem geliştirmeye çalışıyorum. Benzer soruların cevaplarını okudum, ancak aradığım bilgiyi alamadım. Aşağıda, Garima Singh, Arun Solanki'nin Doğal Dili İlişkisel Veritabanları için SQL Sorgularına Dönüştürmek İçin Bir Algoritmadan Bu Sistem İçin Akış Şeması Konuşma etiketleme adımının bir parçası olana kadar anladım. Ancak kalan adımlara …

13 machine-learning  nlp  sql  natural-language-process 

Keras paketi hakkındaki bilgilerimi genişletiyorum ve mevcut bazı modellerle çalışıyorum. Çözmeye çalıştığım ve farklı modeller uyguladığım bir NLP ikili sınıflandırma sorunum var. Bazı sonuçlarla çalıştıktan ve LSTM hakkında daha fazla okuduktan sonra, bu yaklaşım denediğim her şeyden (birden çok veri kümesinde) çok daha üstün görünüyor. "Ne zaman neden / kendi …

12 neural-network  nlp  lstm  recurrent-neural-net