Veri Bilimi nlp

4

Farklı biçimlerdeki belgeleri karşılaştırırken TF-IDF ve Kosinüs Benzerliğine alternatifler

Bir kullanıcının iş becerilerini alan ve bu becerilere dayanarak onlar için en ideal kariyeri öneren küçük, kişisel bir proje üzerinde çalışıyorum. Bunu başarmak için bir iş listesi veri tabanı kullanıyorum. Şu anda, kod aşağıdaki gibi çalışır: 1) Listede belirtilen becerileri elde etmek için her iş listesinin metnini işleyin 2) Her …

12 nlp text-mining similarity cosine-distance

3

N-gram ile dizinlenmiş verileri depolamak için verimli veritabanı modeli

Büyük bir metin topluluğunda bulunan çok büyük bir n-gram veritabanı oluşturmayı gerektiren bir uygulama üzerinde çalışıyorum. Üç verimli çalışma türüne ihtiyacım var: Arama ve ekleme n-gram kendisi tarafından dizin ve bir alt-n-gram içeren tüm n-gram sorgulama. Bu bana veritabanının devasa bir belge ağacı olması gerektiği gibi geliyor ve örneğin Mongo …

12 nlp databases

3

NLTK'da NER ile ilgili yardım

Python kullanarak bir süredir NLTK'da çalışıyorum. Karşılaştığım sorun onların özel veriler ile NLTK NER eğitim mevcut hiçbir yardım olmasıdır. MaxEnt kullandılar ve ACE corpus üzerinde eğitim aldılar. İnternette çok araştırma yaptım ama NLTK'nın NER'sini eğitmek için kullanılabilecek bir yol bulamadım. Herkes bana NLTK NER eğitiminde kullanılan Eğitim Veri Kümeleri Biçimi …

12 machine-learning python nlp

1

Kaç LSTM hücresi kullanmalıyım?

Kullanmam gereken minimum, maksimum ve "makul" miktarda LSTM hücresi ile ilgili herhangi bir temel kural (veya gerçek kurallar) var mı? Özellikle ben ilişkin am BasicLSTMCell TensorFlow ve gelen num_unitsmülk. Lütfen şu şekilde tanımlanan bir sınıflandırma sorunum olduğunu varsayalım: t - number of time steps n - length of input vector …

12 rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

3

Python için kullanıma hazır iyi dil modelleri var mı?

Ben bir uygulama prototip ve bazı oluşturulan cümleler üzerinde şaşkınlık hesaplamak için bir dil modeline ihtiyacım var. Python'da kolayca kullanabileceğim eğitimli bir dil modeli var mı? Gibi basit bir şey model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 …

11 python nlp language-model r statistics linear-regression machine-learning classification random-forest xgboost python sampling data-mining orange predictive-modeling recommender-system statistics dimensionality-reduction pca machine-learning python deep-learning keras reinforcement-learning neural-network image-classification r dplyr deep-learning keras tensorflow lstm dropout machine-learning sampling categorical-data data-imputation machine-learning deep-learning machine-learning-model dropout deep-network pandas data-cleaning data-science-model aggregation python neural-network reinforcement-learning policy-gradients r dataframe dataset statistics prediction forecasting r k-means python scikit-learn labels python orange cloud-computing machine-learning neural-network deep-learning rnn recurrent-neural-net logistic-regression missing-data deep-learning autoencoder apache-hadoop time-series data preprocessing classification predictive-modeling time-series machine-learning python feature-selection autoencoder deep-learning keras tensorflow lstm word-embeddings predictive-modeling prediction machine-learning-model machine-learning classification binary theory machine-learning neural-network time-series lstm rnn neural-network deep-learning keras tensorflow convnet computer-vision

4

Cümleden bilgi çıkartın

Basit bir chatbot oluşturuyorum. Kullanıcı yanıtından bilgi almak istiyorum. Örnek bir senaryo: Bot : Hi, what is your name? User: My name is Edwin. Edwin ismini cümleden çıkarmak istiyorum. Ancak, kullanıcı aşağıdaki gibi farklı şekillerde yanıt verebilir: User: Edwin is my name. User: I am Edwin. User: Edwin. Kelimeler arasındaki …

11 python nlp

2

“Niyet tanıyanlar” nasıl çalışır?

Amazon'un Alexa , Nuance'nin Mix'i ve Facebook'un Wit.ai'sinin tümü, bir metin komutunun bir amaca nasıl dönüştürüleceğini belirtmek için benzer bir sistem kullanıyor - yani bir bilgisayarın anlayacağı bir şey. Bunun için "resmi" adın ne olduğundan emin değilim ama buna "niyet tanıma" diyorum. Temelde "lütfen ışıklarımı% 50 parlaklığa ayarla" seçeneğinin bir …

11 machine-learning nlp

1

Karakter dizisinin İngilizce sözcük veya gürültü olup olmadığını belirleme

Gelecek tahmin etmek için kelime listesinden ne tür özellikler çıkarmaya çalışacaksınız, mevcut kelime mi yoksa sadece karakter karışıklığı mı? Orada bulduğum görevin tanımı var . Belirli bir kelimenin İngilizce olup olmadığını cevaplayabilecek bir program yazmalısınız. Bu kolay olurdu - sadece sözlüğe bakmanız gerekir - ancak önemli bir kısıtlama vardır: programınız …

11 machine-learning nlp text-mining algorithms

1

word2vec'i küçük metin dosyalarına uygulama

Word2vec için tamamen yeniyim, bu yüzden lütfen benimle taşıyın. Ben 1000-3000 arasında, tweets bir dizi içeren metin dosyaları bir dizi var. Ben ortak bir anahtar kelime ("kw1") seçtim ve word2vec kullanarak "kw1" için anlamsal olarak alakalı terimler bulmak istiyor. Örneğin, anahtar kelime "elma" ise, girdi dosyasına dayalı olarak "ipad" "os" …

11 machine-learning nlp text-mining

4

Word2vec, görünmeyen kelimeleri tanımlamak ve bunları önceden eğitilmiş verilerle ilişkilendirmek için nasıl kullanılabilir?

Word2vec gensim modeli üzerinde çalışıyordum ve gerçekten ilginç buldum. Modelle kontrol edildiğinde bilinmeyen / görünmeyen bir kelimenin nasıl eğitimli modelden benzer terimleri alabileceğini bulmakla meşgul oldum. Mümkün mü? Bunun için word2vec değiştirilebilir mi? Ya da eğitim topluluğunun benzerliklerini bulmak istediğim tüm kelimelere sahip olması gerekir.

11 nlp deep-learning word-embeddings unsupervised-learning

3

Bir hashing vectorizer ve bir tfidf vectorizer arasındaki fark nedir

Her bir belge için bir metin belgeleri grubunu kelime vektörlerine dönüştürüyorum. Ben bir TfidfVectorizer ve bir HashingVectorizer kullanarak denedim A'nın yaptığı gibi puanları HashingVectorizerdikkate almadığını anlıyorum . Hala çalışmamın nedeni , burada ve burada açıklandığı gibi, büyük veri kümeleriyle uğraşırken sağladığı esneklik . (Orijinal veri kümemde 30 milyon belge var)IDFTfidfVectorizerHashingVectorizer …

11 nlp scikit-learn text-mining tfidf

3

NER için denetimsiz özellik öğrenme

Oldukça iyi sonuçlar veren el işi özelliklerimle CRF algoritması kullanarak NER sistemini uyguladım. Mesele şu ki POS etiketleri ve lemmalar da dahil olmak üzere birçok farklı özellik kullandım. Şimdi aynı NER'i farklı dil için yapmak istiyorum. Burada sorun POS etiketleri ve lemmaları kullanamıyorum. Derin öğrenme ve denetimsiz özellik öğrenme hakkında …

11 nlp text-mining feature-extraction

3

Doğal dil sorguları nasıl işlenir?

Doğal dil sorgulamayı merak ediyorum. Stanford, doğal dili işlemek için güçlü bir yazılım seti gibi görünüyor . Ayrıca Apache OpenNLP kütüphanesini ve Metin Mühendisliği Genel Mimarisini gördüm . Doğal dil işleme için inanılmaz miktarda kullanım vardır ve bu, bu projelerin belgelerinin hızla emilmesini zorlaştırır. Benim için işleri biraz basitleştirebilir ve …

11 nlp

3

Bilimsel hesaplama için en iyi diller [kapalı]

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 5 yıl önce kapalı . Çoğu dilde bazı bilimsel bilgi işlem kütüphaneleri var gibi görünüyor. Python var Scipy Rust …

10 efficiency statistics tools knowledge-base machine-learning neural-network deep-learning optimization hyperparameter machine-learning time-series categorical-data logistic-regression python visualization bigdata efficiency classification binary svm random-forest logistic-regression data-mining sql experiments bigdata efficiency performance scalability distributed bigdata nlp statistics education knowledge-base definitions machine-learning recommender-system evaluation efficiency algorithms parameter efficiency scalability sql statistics visualization knowledge-base education machine-learning r python r text-mining sentiment-analysis machine-learning machine-learning python neural-network statistics reference-request machine-learning data-mining python classification data-mining bigdata usecase apache-hadoop map-reduce aws education feature-selection machine-learning machine-learning sports data-formats hierarchical-data-format bigdata apache-hadoop bigdata apache-hadoop python visualization knowledge-base classification confusion-matrix accuracy bigdata apache-hadoop bigdata efficiency apache-hadoop distributed machine-translation nlp metadata data-cleaning text-mining python pandas machine-learning python pandas scikit-learn bigdata machine-learning databases clustering data-mining recommender-system

3

Word2Vec ve Doc2Vec hem dağıtım gösterimi hem de dağıtım gösterimi midir?

Dağılım gösteriminin benzer bağlamda ortaya çıkan kelimelerin benzer anlamlara sahip olma eğiliminde olduğu dağılım hipotezine dayandığını okudum. Word2Vec ve Doc2Vec'in her ikisi de bu hipoteze göre modellenmiştir. Ama, orijinal kağıt, hatta başlıklı edilir Distributed representation of words and phrasesve Distributed representation of sentences and documents. Yani, bu algoritmalar dağılımsal temsile …

10 nlp word-embeddings terminology word2vec

«nlp» etiketlenmiş sorular