NLTK'da NER ile ilgili yardım

12

Python kullanarak bir süredir NLTK'da çalışıyorum. Karşılaştığım sorun onların özel veriler ile NLTK NER eğitim mevcut hiçbir yardım olmasıdır. MaxEnt kullandılar ve ACE corpus üzerinde eğitim aldılar. İnternette çok araştırma yaptım ama NLTK'nın NER'sini eğitmek için kullanılabilecek bir yol bulamadım.

Herkes bana NLTK NER eğitiminde kullanılan Eğitim Veri Kümeleri Biçimi yönlendirebilirsiniz herhangi bir bağlantı / makale / blog vb sağlayabilir böylece Veri Kümelerimi bu biçimde hazırlayabilirsiniz. Ve eğer bana kendi verilerim için TRAIN NLTK NER yardımcı olabilir herhangi bir bağlantı / makale / blog vb yönlendirilirseniz.

Bu, yaygın olarak aranan ve en az cevap verilen bir sorudur. Gelecekte NER ile çalışan biri için yararlı olabilir.

machine-learning python nlp

— Sarmad
kaynak

Üzerinde karşılıklı yayınlandı quora.com/Help-on-training-NLTKs-NER

— Franck Dernoncourt

4

Genel olarak bilgi çıkarmayla ilgili bir modelin eğitilmesi ve özellikle adlandırılmış varlık tanıma / çözümlemesi (NER) , bu URL'de çevrimiçi olarak bulunan NLTK Kitabının 7. Bölümünde ayrıntılı olarak açıklanmaktadır : http: //www.nltk .org / kitap / ch07.html .

Ayrıca, ben size yararlı my bulmak olabileceğini düşünmek ilgili cevabı üzerine Çapraz Validated sitesinde. NER ve ilgili konulardaki ilgili kaynaklara ve çeşitli ilgili yazılım araçlarına çok sayıda atıfta bulunur .

— Aleksandr Blekh
kaynak

NER modelini özel veriler üzerinde nasıl eğiteceklerinden bahsetmiyorlar, nasıl yapılacağını söyleyebilir misiniz?

— Hima Varsha

1

@HimaVarsha Bu alanda uzman değilim. Ancak, ... NLTK NER modelinin conll2000 corpus üzerinde önceden eğitilmiş olduğunu düşünüyorum , bu nedenle NLTK kitabında bilgi yok. Aşağıdaki kaynakları kontrol edin: 1. nltk-trainer.readthedocs.io (büyük olasılıkla neye ihtiyacınız olduğunu; Muhtemelen Eğitim IOB Gruplarını Bölümü). 2. sujitpal.blogspot.com/2012/11/… (de faydalı olabilir). 3. nlp.stanford.edu/software/crf-faq.shtml#a (Stanford NER yazılımını kullanmanız veya kullanmaya karar vermeniz durumunda).

— Aleksandr Blekh

Ben stanfordcrf uygulaması özel veri alıyor, ancak NTLK NER sadece önceden eğitilmiş geliyor düşünüyorum. Eğitim IOB Chunkers sadece parçalanıyor değil mi? Yoksa NER bile mi yapıyor?

— Hima Varsha

@HimaVarsha Lütfen aldığınız öneriye daha fazla dikkat edin. Yukarıdaki bağlantı # 2 ile gönderiyi dikkatlice okursanız, buradaki kodun hem NER modeli eğitimi hem de çalıştığını görürsünüz. Yukarıdaki tavsiyenin ötesinde size yardımcı olabileceğimi sanmıyorum.

— Aleksandr Blekh

3

Bu makale yeterince iyi mi? http://www.succeed-project.eu/wiki/index.php/NLTK#Input_format_for_training

Korpusun nasıl görünmesi gerektiği hakkında bir açıklama var.

Çalışması için verilerinizin IOB biçiminde (kelime etiketi chunktag) olması gerekir.
Eric NNP B-PERSON
, IN O Google NNP B-ORGANİZASYONU
AT B-NP
CEO'su NN I-NP VB O

— MaticDiba
kaynak

1

Bu cevapta makalenin kısa bir özetini yayınlamak ideal olacaktır.

— sheldonkreger

1

Bu öğretici oldukça yararlı buldum: Python ile kendi Adlandırılmış Varlık Tanıyıcı oluşturmak için tam bir kılavuz O NER yığınını eğitmek için Groningen Anlamı Bankası (GMB) derlemesini kullanır.

Bundan sonra bu öğreticiyi aynı kişiden kontrol edebilirsiniz: Büyük Bir Veri Kümesi Kullanarak NER Sisteminin Eğitimi Scikit'i kullandığı yerde sisteminin performansını artırmayı öğrenin.

Sonunda gerçekten yararlı bazı öğreticiler burada bulunabilir: NLTK öğretici Bu adam birçok konuda (ML, NLP, Python ...) öğretici bir sürü bir youtube kanalı var

Umarım yardımcı olur.

— Iraklis Moutidis
kaynak