«word2vec» etiketlenmiş sorular

Latent Dirichlet Allocation ve word2vec arasındaki kelimelerin benzerliğini hesaplamak için benzerliğin ne olduğunu anlamaya çalışıyorum . Anladığım kadarıyla, LDA sözcükleri gizli konuların bir olasılık vektörüne eşlerken, word2vec bunları gerçek sayıların bir vektörüne eşler (noktasal karşılıklı bilginin tekil değer ayrışmasıyla ilgili, bkz . O. Levy, Y. Goldberg, "Sinir Kelime Gömme" Örtük …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Denetimli öğrenme ile kullanıma uygun bir belgeyi özellik vektörüne eşlemek için gömme kelimesini nasıl kullanırım? Bir kelime gömme her kelime haritalar bir vektör burada, , bazı değil çok sayıda (örneğin, 500) 'dir. Popüler kelime kalıplamaların dahil word2vec ve Eldiven .v ∈ R d dwwwv ∈ Rdv∈Rdv \in \mathbb{R}^dddd Belgeleri sınıflandırmak …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Word vektörlerini word2vec ile çalıştırdıktan sonra, bazı akış aşağı uygulamalar için kullanmadan önce onları normalleştirmek daha mı iyidir? Yani onları normalleştirmenin artıları / eksileri nelerdir?

36 natural-language  word2vec  word-embeddings 

Bir veri kümesi üzerinde çapraz doğrulanmış rasgele bir orman çalıştırmak için şapka kullanıyorum. Y değişkeni bir faktördür. Veri setimde hiç NaN, Inf veya NA yok. Ancak rastgele orman çalıştırırken, alıyorum Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Word2vec bağlamında negatif örnekleme kavramını anlamaya çalışıyorum. [Negatif] örnekleme fikrini sindiremiyorum. Örneğin Mikolov gazetelerinde olumsuz örnekleme beklentisi şu şekilde formüle edilmiştir: günlükσ( ⟨ W , c ⟩ ) + k ⋅ ecN-∼ PD[ logσ( - ⟨ w , CN-⟩ ) ] .log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim …

19 machine-learning  word2vec  word-embeddings 

Skip-gram'ın nadiren kelimeler için neden word2vec'de CBOW'dan daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

19 natural-language  word2vec  word-embeddings 

Benim sorum aptalca olabilir. Bu yüzden önceden özür dilerim. Stanford NLP grubu ( link ) tarafından önceden eğitilmiş GLOVE modelini kullanmaya çalışıyordum . Ancak, benzerlik sonuçlarımın bazı negatif sayılar gösterdiğini fark ettim. Bu, hemen sözcük-vektör veri dosyasına bakmamı istedi. Görünüşe göre, sözcük vektörlerindeki değerlerin negatif olmasına izin verildi. Bu neden …

17 machine-learning  word2vec  cosine-similarity 

Bu doğru yığın sitesi olup olmadığından emin değilsiniz, ama işte gidiyor. .Similiarity yöntemi nasıl çalışır? Vay canına, harika! Onun tfidf modeli daha kolay olabilir, ama sadece bir kod satırı ile w2v ?! Onun içinde Spacy 10 hat öğretici andrazhribernik gösterisi bize jeton, rak yüzlerce, kelime parçaları ve dokümanlar üzerinde çalıştırılabilir …

13 natural-language  word2vec  tf-idf  nltk 

Word2vec'in CBOW ve skip-gram modellerinde, negatif örnekleme sık kelimeler için daha iyi olurken, hiyerarşik softmax'ın neden nadir kelimeler için daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

12 natural-language  word2vec  word-embeddings  softmax 

Word2Vec algoritmasının atlama gram modelini anlamada sorunlar yaşıyorum. Sürekli kelime torbasında, bağlam kelimelerinin Sinir Ağı'na nasıl "sığabileceğini" görmek kolaydır, çünkü tek bir sıcak kodlama gösterimlerinin her birini W giriş matrisi ile çarptıktan sonra temel olarak ortalamalandırırsınız. Bununla birlikte, atlama-gram söz konusu olduğunda, giriş kelimesi vektörünü yalnızca bir sıcak kodlamayı giriş …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Kabaca 60 milyon ibareyi bir vektör boşluğuna yerleştirmeye çalışıyorum , sonra aralarındaki kosinüs benzerliğini hesaplıyorum . Ben sklearn's CountVectorizerunigram ve bigram üreten özel inşa tokenizer fonksiyonu ile kullanıyorum. Anlamlı temsiller elde etmek için, çok sayıda sütuna izin vermem gerekiyor, satır sayısı bakımından doğrusal. Bu inanılmaz derecede seyrek matrislere yol açar …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Kelime düğünlerinde çok yeniyim. Öğrenmenin ardından belgelerin nasıl göründüğünü görselleştirmek istiyorum. T-SNE'nin bunu yapmak için bir yaklaşım olduğunu okudum. Gömme boyutu olarak 250 boyutta 100K dokümanım var. Ayrıca birkaç paket mevcuttur. Bununla birlikte, t-SNE için, daha fazla öğrenmeye devam etmem gereken kaç yineleme veya alfa değeri veya esneklik değeri bilmiyorum. …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Doğal bir dil işleme (NLP) görevi için sözcükler için gömme olarak genellikle word2vec vektörleri kullanılır. Bununla birlikte, word2vec vektörleri tarafından yakalanmayan birçok bilinmeyen kelime olabilir, çünkü bu kelimeler eğitim verilerinde yeterince sık görülmemektedir (birçok uygulama, kelimeye bir kelime eklemeden önce minimum sayıyı kullanır). Bu, özellikle kelimelerin genellikle yanlış yazıldığı Twitter'dan …

11 natural-language  word2vec  lstm  word-embeddings 

Ben cs224d çevrimiçi stanford sınıfı ders materyali ilk sorun seti ile yoluma çalışıyorum ve sorun 3A ile bazı sorunlar yaşıyorum: Softmax tahmin fonksiyonu ve çapraz entropi kaybı fonksiyonu ile atlama gram word2vec modeli kullanırken, biz degradeleri tahmin edilen sözcük vektörlerine göre hesaplamak istiyorum. Softmax fonksiyonu göz önüne alındığında: wben^= Pr …

10 machine-learning  self-study  word2vec 

Stanford NLP derin öğrenme sınıfının yazılı ödev problemlerindeki problemleri yaşıyorum http://cs224d.stanford.edu/assignment1/assignment1_soln 3a'nın cevabını anlamaya çalışıyorum, burada orta kelime için vektörün türevini arıyorlar. Tahmin edilen bir kelime vektörü verildiğini varsayın vcvcv_{c}skipgram için orta kelimeye c karşılık gelir ve word2vec modellerinde bulunan softmax fonksiyonu ile kelime tahmini yapılır. y^Ö= p ( o …

9 self-study  neural-networks  backpropagation  word2vec