«word-embeddings» etiketlenmiş sorular

Birçok sinir ağı kütüphanesinde, Keras veya Lasagne'de olduğu gibi 'katmanları gömmek' vardır . Belgeleri okuduğumuza rağmen işlevini anladığımdan emin değilim. Örneğin, Keras belgelerinde şöyle yazıyor: Pozitif tamsayıları (indeksleri) sabit büyüklükteki vektörlere dönüştürün, örn. [[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]] Bilgili bir kişi ne yaptığını ve ne zaman kullanacağınızı açıklayabilir …

92 machine-learning  neural-networks  python  word-embeddings 

Keras kütüphanesinde 'Katıştırma' katmanının çalışmasını anlamalısınız. Python'da şu kodu çalıştırıyorum import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) aşağıdaki çıktıyı verir input_array = [[4 1 3 3 3]] output_array = …

70 text-mining  word-embeddings  keras 

Denetimli öğrenme ile kullanıma uygun bir belgeyi özellik vektörüne eşlemek için gömme kelimesini nasıl kullanırım? Bir kelime gömme her kelime haritalar bir vektör burada, , bazı değil çok sayıda (örneğin, 500) 'dir. Popüler kelime kalıplamaların dahil word2vec ve Eldiven .v ∈ R d dwwwv ∈ Rdv∈Rdv \in \mathbb{R}^dddd Belgeleri sınıflandırmak …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Word vektörlerini word2vec ile çalıştırdıktan sonra, bazı akış aşağı uygulamalar için kullanmadan önce onları normalleştirmek daha mı iyidir? Yani onları normalleştirmenin artıları / eksileri nelerdir?

36 natural-language  word2vec  word-embeddings 

Bir veri kümesi üzerinde çapraz doğrulanmış rasgele bir orman çalıştırmak için şapka kullanıyorum. Y değişkeni bir faktördür. Veri setimde hiç NaN, Inf veya NA yok. Ancak rastgele orman çalıştırırken, alıyorum Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Le ve Mikolov'un " Cümle ve Belgelerin Dağıtılmış Temsilleri " başlıklı ICML 2014 belgesindeki sonuçlardan etkilendim . "Paragraf vektörleri" olarak adlandırdıkları teknik, word2vec modelinin bir uzantısına dayanarak, keyfi olarak uzun paragrafların / belgelerin denetimsiz temsillerini öğrenir. Bu makale, bu teknik kullanılarak duyarlılık analizinde en son teknolojiye sahip performansı göstermektedir. Bu …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Word2vec bağlamında negatif örnekleme kavramını anlamaya çalışıyorum. [Negatif] örnekleme fikrini sindiremiyorum. Örneğin Mikolov gazetelerinde olumsuz örnekleme beklentisi şu şekilde formüle edilmiştir: günlükσ( ⟨ W , c ⟩ ) + k ⋅ ecN-∼ PD[ logσ( - ⟨ w , CN-⟩ ) ] .log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim …

19 machine-learning  word2vec  word-embeddings 

Skip-gram'ın nadiren kelimeler için neden word2vec'de CBOW'dan daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

19 natural-language  word2vec  word-embeddings 

Gömme katmanı Keras Gömme katmanında nasıl eğitilir? (tensorflow arka ucunu kullandığınızı, yani word2vec, eldiven veya hızlı metne benzediğini söyleyin) Varsayalım.

14 deep-learning  keras  word-embeddings 

Word2vec'in CBOW ve skip-gram modellerinde, negatif örnekleme sık kelimeler için daha iyi olurken, hiyerarşik softmax'ın neden nadir kelimeler için daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

12 natural-language  word2vec  word-embeddings  softmax 

Word2Vec algoritmasının atlama gram modelini anlamada sorunlar yaşıyorum. Sürekli kelime torbasında, bağlam kelimelerinin Sinir Ağı'na nasıl "sığabileceğini" görmek kolaydır, çünkü tek bir sıcak kodlama gösterimlerinin her birini W giriş matrisi ile çarptıktan sonra temel olarak ortalamalandırırsınız. Bununla birlikte, atlama-gram söz konusu olduğunda, giriş kelimesi vektörünü yalnızca bir sıcak kodlamayı giriş …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Kabaca 60 milyon ibareyi bir vektör boşluğuna yerleştirmeye çalışıyorum , sonra aralarındaki kosinüs benzerliğini hesaplıyorum . Ben sklearn's CountVectorizerunigram ve bigram üreten özel inşa tokenizer fonksiyonu ile kullanıyorum. Anlamlı temsiller elde etmek için, çok sayıda sütuna izin vermem gerekiyor, satır sayısı bakımından doğrusal. Bu inanılmaz derecede seyrek matrislere yol açar …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Kelime düğünlerinde çok yeniyim. Öğrenmenin ardından belgelerin nasıl göründüğünü görselleştirmek istiyorum. T-SNE'nin bunu yapmak için bir yaklaşım olduğunu okudum. Gömme boyutu olarak 250 boyutta 100K dokümanım var. Ayrıca birkaç paket mevcuttur. Bununla birlikte, t-SNE için, daha fazla öğrenmeye devam etmem gereken kaç yineleme veya alfa değeri veya esneklik değeri bilmiyorum. …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Kelime düğünleri oluşturmanın bir yolu aşağıdaki gibidir ( ayna ): Bir şirket alın, örneğin "Uçmayı seviyorum. NLP'yi seviyorum. Derin öğrenmeyi seviyorum." Bundan cooccurrence matrisi kelimesini oluşturun: SVD gerçekleştirin ve U'nun ilk sütunlarını koruyun.XXXkkk alt her satırı , satırın temsil ettiği kelimenin gömme sözcüğü olacaktır (satır 1 = "I", satır 2 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Bu cümleyi anlamakta güçlük çekiyorum: Önerilen ilk mimari, doğrusal olmayan gizli katmanın kaldırıldığı ve projeksiyon katmanının tüm kelimeler (yalnızca projeksiyon matrisi için değil) paylaşıldığı ileri beslemeli NNLM'ye benzer; böylece, tüm kelimeler aynı pozisyona yansıtılır (vektörlerinin ortalaması alınır). Projeksiyon katmanı vs projeksiyon matrisi nedir? Tüm kelimelerin aynı konuma yansıtıldığını söylemek ne …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models