Doğal Dil İşleme için Java veya Python [kapalı]

Doğal dil işleme için hangi programlama dilinin daha iyi olduğunu bilmek istiyorum. Java mı Python mu? Bununla ilgili birçok soru ve cevap buldum. Ama yine de hangisini kullanacağımı seçmekte kayboldum.

Ve çok sayıda kitaplık (LingPipe, GATE, OpenNLP, StandfordNLP) olduğundan Java için hangi NLP kitaplığını kullanacağımı bilmek istiyorum. Python için çoğu programcı NLTK'yi önerir.

Ancak, bazı yararlı bilgiler elde etmek için yapılandırılmamış verilerden (sadece serbest biçimlendirilmiş düz İngilizce metin) metin işleme veya bilgi çıkarma işlemi yapacaksam , en iyi seçenek nedir? Java mı Python mu? Uygun kütüphane?

Güncellenmiş

Yapmak istediğim şey, yapılandırılmamış verilerden faydalı ürün bilgilerini çıkarmaktır (örneğin, kullanıcılar çok standart olmayan İngilizce dili ile mobil veya dizüstü bilgisayarlar hakkında farklı reklam biçimleri yaparlar)

NLP için Java vs Python, büyük ölçüde bir tercih veya gerekliliktir. Şirkete / projelere bağlı olarak, birini veya diğerini kullanmanız gerekecek ve genellikle bir projeye başkanlık etmediğiniz sürece çok fazla seçenek yoktur.

Dışında NLTK(www.nltk.org), metin işleme için diğer kütüphaneler aslında vardır python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Gensim : http://radimrehurek.com/gensim/
• Desen : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Turuncu : http://orange.biolab.si/features/
• Ananas : https://github.com/proycon/pynlpl

(daha fazla bilgi için bkz. https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Çünkü Javatonlarca başkası var ama işte başka bir liste:

• Serbest dalış : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (diğer diller için sarmalayıcılarla birlikte gelir, python dahil)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Bu, temel dize işleme için güzel bir karşılaştırmadır, bkz. Http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

GATE ile UIMA ile OpenNLP arasında faydalı bir karşılaştırma için bkz. Https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

NLP için hangi dilin seçileceğinden emin değilseniz, kişisel olarak "size istenen analizi / çıktıyı verecek herhangi bir dil" diyorum, bkz . Doğal dil işleme için hangi dil veya araçlar öğrenilmelidir?

İşte oldukça yeni (2017) NLP araçları: https://github.com/alvations/awesome-community-curated-nlp

NLP araçlarının eski bir listesi (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Dil işleme araçları dışında, ardışık düzenlere machine learningdahil etmek için araçlara çok ihtiyaç duyarsınız NLP.

Orada bir bütün aralık içinde olduğunu Pythonve Javave yine bir kez tercihine kalmış ve kitaplıklar kullanıcı dostu yeterli olmadığını:

Python'da Makine Öğrenimi kitaplıkları:

• Sklearn (Scikit-learn): http://scikit-learn.org/stable/
• Süt : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Theano : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (Ticari araç ancak 1 yıllık ücretsiz akademik lisans): https://dato.com/products/create/

(Daha fazla bilgi için bkz. https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Tokmak : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

NLP'deki son (2015) derin öğrenme tsunamisiyle , muhtemelen şunları düşünebilirsiniz: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Derin öğrenme araçlarını iltimas / tarafsızlık nedeniyle listelemekten kaçınacağım.

NLP / ML araçları için de sorulan diğer Stackoverflow soruları:

• Makine Öğrenimi ve Doğal Dil İşleme
• Doğal dil işlemeyle ilgilenen biri için iyi başlangıç ​​noktaları nelerdir?
• Doğal dil işleme
• Java'da Doğal Dil İşleme (NLP)
• İyi bir doğal dil işleme kütüphanesi var mı
• Java için Basit Doğal Dil İşleme Başlangıcı
• Hangi kütüphaneler temel veya gelişmiş NLP yöntemleri sunar?
• Doğal Dil İşleme için en son iyi diller ve kitaplar, temel bilgiler
• (NER için) Lucene Index'i beslerken ücretsiz araçlarla Varlık Çıkarma / Tanıma
• (PHP ile) PHP kullanan NLP programlama araçları?
• (Ruby ile) /programming/3776361/ruby-nlp-libraries

Soru çok açık uçlu. Bununla birlikte, birini seçmek yerine, kullanmak istediğiniz dile bağlı olarak aşağıda bir karşılaştırma verilmiştir (çünkü her iki dilde de iyi kütüphaneler mevcuttur).

piton

Python açısından bakmanız gereken ilk yer Python Natural Language Toolkit'tir . Tanımlarında belirttikleri gibi, NLTK, insan dili verileriyle çalışmak üzere Python programları oluşturmak için lider bir platformdur. Sınıflandırma, belirteç oluşturma, saplama, etiketleme, ayrıştırma ve anlamsal akıl yürütme için bir dizi metin işleme kitaplığı ile birlikte WordNet gibi 50'den fazla kurum ve sözcük kaynağına kullanımı kolay arayüzler sağlar.

Ayrıca, Google'ın Python tabanlı Natural Language Toolkit projesinden kaynaklanan, arayabileceğiniz bazı mükemmel kodlar da var. GitHub'da bu koda bir bağlantı bulabilirsiniz .

Java

Bakılacak ilk yer Stanford'un Doğal Dil İşleme Grubu olacaktır . Orada dağıtılan tüm yazılımlar Java ile yazılmıştır. Tüm yeni dağıtımlar Oracle Java 6+ veya OpenJDK 7+ gerektirir. Dağıtım paketleri, komut satırı çağrısı, jar dosyaları, bir Java API ve kaynak kodu için bileşenler içerir.

Burada birçok makine öğrenimi ortamında gördüğünüz bir başka harika seçenek (genel seçenek), Weka'dır . Weka, veri madenciliği görevleri için makine öğrenimi algoritmalarının bir koleksiyonudur. Algoritmalar doğrudan bir veri kümesine uygulanabilir veya kendi Java kodunuzdan çağrılabilir. Weka, veri ön işleme, sınıflandırma, regresyon, kümeleme, ilişkilendirme kuralları ve görselleştirme için araçlar içerir. Ayrıca yeni makine öğrenimi şemaları geliştirmek için de çok uygundur.