Bir word2vec modeli eğitirken transfer öğrenimini kullanmaktan yararlanabilir miyiz?

Google Haberler verileri vb. Gibi önceden eğitilmiş bir modelin önceden eğitilmiş ağırlıklarını bulmak istiyorum. Kendim için yeterli miktarda (10 GB vb.) Veri içeren yeni bir model geliştirmeyi zor buldum. Bu nedenle, önceden eğitilmiş katman ağırlıkları alabileceğim ve bu ağırlıkları alan adına özgü kelimelerim üzerinde yeniden eğitebileceğim transfer öğreniminden yararlanmak istiyorum. Bu nedenle, kesinlikle eğitimde nispeten daha az zaman alacaktır. Her türlü yardım son derece takdir edilecektir. Şimdiden teşekkürler :)

Evet, önceden eğitilmiş modellerden yararlanabilirsiniz. En ünlü olanı burada bulabileceğiniz GoogleNewsData eğitimli modelidir.

Önceden eğitilmiş kelime ve ifade vektörleri https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit?usp=sharing

Daha sonra, aşağıda gösterildiği gibi gensim'i kullanarak vektörleri modelinizde ikili biçimde yükleyebilirsiniz.

>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.txt', binary=False)  # C text format
>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.bin', binary=True)  # C binary format

İşte İngilizce Wikipedia için önceden oluşturulmuş farklı bir model:

https://github.com/idio/wiki2vec/raw/master/torrents/enwiki-gensim-word2vec-1000-nostem-10cbow.torrent

Kaynak: https://github.com/idio/wiki2vec/

Önceden oluşturulmuş bir model kullanma

Get python 2.7
Install gensim: pip install gensim
uncompress downloaded model: tar -xvf model.tar.gz
Load model in gensim:
from gensim.models import Word2Vec
model = Word2Vec.load("path/to/word2vec/en.model")
model.similarity('woman', 'man')

Stanford NLP Eldiveni de kullanabilirsiniz

• http://nlp.stanford.edu/projects/glove/
• https://github.com/stanfordnlp/GloVe

İşte önceden eğitilmiş word2vec modellerinin harika bir derlemesi.

• https://github.com/3Top/word2vec-api#where-to-get-a-pretrained-models

Bazı önceden eğitilmiş modeller:

• http://www.zuccon.net/ntlm.html
• https://code.google.com/archive/p/word2vec/

Gensim ve kod hakkında daha fazla bilgi için: https://radimrehurek.com/gensim/models/word2vec.html

Benzer sorulara sahip Quora forumu

• https://www.quora.com/Where-can-I-find-pre-trained-models-of-word2vec-and-sentence2vec-trained-on-Wikipedia-or-other-large-text-corpus
• https://www.quora.com/Where-can-I-find-some-pre-trained-word-vectors-for-natural-language-processing-understanding

Büyük bir cesetle ilgili eğitime dayanan dağıtılmış temsiller (Eldiven) doğrudan Stanford NLP grubundan edinilebilir. Bu kelime düğünlerini doğrudan uygulamanızda kullanabilirsiniz (1 sıcak kodlanmış vektör kullanmak ve ardından düğünleri almak için ağı eğitmek yerine). Göreviniz çok özel değilse, bu düğün seti ile başlamak pratikte iyi çalışır.

$m \times V$$V$$m$

Bu makaleye bir göz atın [PDF] . Ana odak NER görevi ile ilgilidir, ancak fikir aynıdır - önceden eğitilmiş word2vec vektörlerini alın ve belirli bir uygulama için uyarlayın.

NLP için birçok yaygın sinir ağına dayalı uygulama sıklıkla önceden eğitilmiş vektörlerle başlar. Örneğin çok yeni bir makale [PDF] (NER ve POS etiketleme görevleri) bunu yapar.

from gensim.models import Word2Vec 
# Word2Vec is full model which is trainable but takes larger memory

from gensim.models import KeyedVectors  
# KeyedVectors is reduced vector model which is NOT trainable but takes less memory

model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) #load pretrained google w2v 

sen1 = 'w1 w2 w3'    
sen2 = 'word1 word2 word3'    
sentences = [[word for word in sen1.split()],[word for word in sen2.split()]]    
total_examples = model_2.corpus_count    

model_2 = Word2Vec(size=300, min_count=1) #initiate a full model    
model_2.build_vocab(sentences) #add words in training dataset

#load words from pretrained google dataset    
model_2.build_vocab([list(model.vocab.keys())], update=True)    
model_2.intersect_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True, lockf=1.0)

#retrain pretrained w2v from new dataset    
model_2.train(sentences, total_examples=total_examples, epochs=model_2.iter)