«nltk» etiketlenmiş sorular

Bu kitabı ( NLTK ) okuyorum ve kafa karıştırıcı. Entropi şu şekilde tanımlanır : Entropi, her etiketin olasılığının, aynı etiketin günlük olasılığının çarpımının toplamıdır Metin madenciliği açısından entropi ve maksimum entropiyi nasıl uygulayabilirim ? Birisi bana kolay ve basit bir örnek verebilir mi (görsel)?

338 math  text  computer-science  nltk  text-mining 

punktBelirteç yüklemeye çalışırken ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... a LookupErroryükseltildi: > LookupError: > ********************************************************************* > Resource 'tokenizers/punkt/english.pickle' not found. Please use the NLTK Downloader to obtain the resource: nltk.download(). Searched in: > - 'C:\\Users\\Martinos/nltk_data' > - 'C:\\nltk_data' > - 'D:\\nltk_data' > - 'E:\\nltk_data' > - 'E:\\Python26\\nltk_data' > - …

144 python  jenkins  nltk 

Doğal Dil Araç Seti (nltk) tarafından kullanılan tüm olası pos etiketlerini içeren bir listeyi nasıl bulabilirim?

141 python  nltk 

Bir metni n-gramlara bölmenin bir yolunu arıyorum. Normalde şöyle bir şey yapardım: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Nltk'nin yalnızca bigramlar ve trigramlar sunduğunun farkındayım, ancak metnimi dört gram, beş gram ve hatta yüz gram olarak …

137 python  string  nltk  n-gram 

İngilizce sözlükte bir kelime olup olmadığını kontrol etmek istiyorum bir Python programı. Nltk wordnet arayüzünün gidecek yol olabileceğine inanıyorum, ancak bu kadar basit bir görev için nasıl kullanılacağına dair hiçbir fikrim yok. def is_english_word(word): pass # how to I implement is_english_word? is_english_word(token.lower()) Gelecekte, bir kelimenin tekil biçiminin sözlükte olup olmadığını …

134 python  nltk  wordnet 

Her birini ne zaman kullanırım? Ayrıca ... NLTK tanımlaması Konuşmanın Bölümlerine mi bağlı? Olsaydı daha doğru olmaz mıydı?

132 python  nlp  nltk  lemmatization 

NLTK kullanmaya yeni başlıyorum ve metinden bir kelime listesini nasıl alacağımı tam olarak anlamıyorum. Kullanırsam nltk.word_tokenize(), bir kelime ve noktalama işareti listesi alırım. Bunun yerine sadece kelimelere ihtiyacım var. Noktalama işaretlerinden nasıl kurtulabilirim? Ayrıca word_tokenizebirden fazla cümlede çalışmaz: Son kelimeye noktalar eklenir.

125 python  nlp  tokenize  nltk 

Bu yüzden, durdurulan kelimelerin kullanımını kaldırmak istediğim bir veri kümem var stopwords.words('english') Bunu sadece bu kelimeleri çıkarmak için kodum içinde nasıl kullanacağım konusunda mücadele ediyorum. Bu veri setindeki kelimelerin bir listesi zaten var, uğraştığım kısım bu listeyle karşılaştırmak ve durdurma kelimelerini kaldırmak. Herhangi bir yardım takdir edilmektedir.

110 python  nltk  stop-words 

Kabuk betiğinde bu paketlerin kurulu olup olmadığını kontrol ediyorum, kurulmamışsa kurun. Yani, kabuk betiği ile: import nltk echo nltk.__version__ ancak importsatırda kabuk komut dosyasını durdurur linux terminalinde şu şekilde görmeye çalıştım: which nltk bu da kurulu olduğunu düşünmez. Bu paket kurulumunu kabuk komut dosyasında doğrulamanın başka bir yolu var mı, …

105 python  linux  shell  scikit-learn  nltk 

Neredeyse her şeyi kurmak için pip kullanmakta zorlanıyorum. Kodlamada yeniyim, bu yüzden belki de bunun yanlış yaptığım bir şey olduğunu düşündüm ve yapmam gereken şeylerin çoğunu elde etmek için easy_install'u seçtim, ki bu genellikle işe yaradı. Ancak, şimdi nltk kitaplığını indirmeye çalışıyorum ve hiçbiri işi tamamlamıyor. Girmeyi denedim sudo pip …

102 python  pip  nltk  easy-install 

Kodum: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Hata mesajı: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') File "/usr/lib/python2.6/site-packages/nltk/data.py", line 774, in load opened_resource = _open(resource_url) File "/usr/lib/python2.6/site-packages/nltk/data.py", line 888, in _open return find(path_, path + ['']).open() File "/usr/lib/python2.6/site-packages/nltk/data.py", line 618, …

100 python  unix  nltk 

Bölüm 1 ve Bölüm 2'de bulunan bir öğreticiyi takip ediyordum . Maalesef yazarın, iki belge arasındaki mesafeyi gerçekten bulmak için kosinüs benzerliğini kullanmayı içeren son bölüm için zamanı yoktu. Stackoverflow'dan aşağıdaki link yardımıyla makaledeki örnekleri takip ettim , yukarıdaki linkte belirtilen kod dahil (sadece hayatı kolaylaştırmak için) from sklearn.feature_extraction.text import …

93 python  machine-learning  nltk  information-retrieval  tf-idf 

Stanford Parser'ı NLTK'da kullanmak mümkün mü? (Stanford POS'tan bahsetmiyorum.)

90 python  parsing  nlp  nltk  stanford-nlp 

Nltk veri dizini koddan nasıl yapılandırılır?

88 python  path  directory  nlp  nltk