Büyük ölçekli metin sınıflandırması

Metin verilerim üzerinde sınıflandırma yapmak istiyorum. 300 classesSınıf başına 200 eğitim dokümanım var 60000 documents in totalve bu muhtemelen çok yüksek boyutlu verilerle sonuçlanacaktır ( 1 milyondan fazla boyutu inceliyor olabiliriz ).

Boru hattında aşağıdaki adımları gerçekleştirmek istiyorum (sadece gereksinimlerimin ne olduğu hakkında bir fikir vermek için):

1. Her belgeyi özellik vektörüne ( tf-idfveya vector space model) dönüştürme
2. Feature selection( Mutual Informationtercihen veya diğer standart olanları temel alır)
3. Sınıflandırıcı Eğitim ( SVM, Naive Bayes, Logistic Regressionveya Random Forest)
4. Eğitimsiz sınıflandırıcı modeline göre görünmeyen verileri tahmin etme.

Buradaki soru, bu tür yüksek boyutlu verileri işlemek için hangi araçları / çerçeveyi kullanacağım? Her zamanki şüphelilerin farkındayım (R, WEKA ...) ama bilgim ilerledikçe (yanlış olabilirim) muhtemelen hiçbiri bu kadar büyük veriyi işleyemez. Raf aletinden bakabileceğim başka bir şey var mı?

Paralellemem gerekirse Apache Mahir'e mi bakmalıyım ? Görünüşe göre tam istediğim işlevselliği sağlayamayabilir.

Şimdiden teşekkürler.

Güncelleme: Bu web sitesine , posta listesine ve genel olarak internete baktım . Bana öyle geliyor ki benim durumumda aşağıdaki sorunlar ortaya çıkabilir:

(1) Verilerimin R ( özellikle tm paketi ) kullanılarak ön işleme tabi tutulması pratik olmayabilir , çünkü tmyasaklayıcı derecede yavaş olacaktır.

(2) Paketler arasında birlikte çalışabilirlik bir sorun haline gelebilir ve bir formattan diğerine veri dönüştürmede ek bir yüke neden olabilirim. . Örneğin, ön tmişlemimi (veya WEKA gibi harici bir aracı) kullanarak yaparsam, bu verileri R'deki HPC kitaplıklarının okuyabileceği bir forma dönüştürmenin bir yolunu bulmam gerekir. Ve yine, sınıflandırma paketlerinin HPC kütüphaneleri tarafından sağlanan verileri doğrudan alıp alamayacağı net değil.

Ben doğru yolda mıyım? Ve daha da önemlisi, mantıklı mıyım?

Bu, verilerin scipy.sparse.csr_matrixPython'daki örnek gibi seyrek bir veri yapısı olarak temsil edildiği sürece çalışmasını sağlamak için mümkün olmalıdır . Metin verileri üzerinde çalışmak için bir eğitim yazdım . Ayrıca, karma numaradan yararlanarak bellek kullanımını daha da azaltmak mümkündür: veya HashingVectorizeryerine . Bu, dokümantasyon bölümünde metin özellikleri çıkarma bölümünde açıklanmaktadır .CountingVectorizerTfidfVectorizer

Rasgele Ormanlar genel olarak doğrusal modellerden (doğrusal destek vektör makineleri ve lojistik regresyon gibi) ve multinomial veya Bernoulli naif Bayes'ten ve daha basit modellerden daha iyi tahmin doğruluğu getirmeyen çoğu metin sınıflandırma probleminden çok daha pahalıdır.

Scikit-learn probleminize ölçeklenemezse, Vowpal Wabbit , bahsettiğiniz tüm modelleri uygulamadığı halde yapacaktır (ve muhtemelen sklearn'den daha hızlı).

Nisan 2015'te scikit-learn kütüphanesinin mevcut durumunu yansıtacak ve bozuk bağlantıları düzeltecek şekilde düzenlendi.

Python için Gensim büyülüdür . Ve Python'da olduğu için, @ ogrisel'in önerisiyle birlikte kullanabilirsiniz.

Kendi kornamı devirmek değil, ama Rapidminer ile metin analizi konusunda oldukça popüler bir video serisi yaptım. Burada görebilirsiniz:

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

Özellik seçimi yapmaktan kaçınabilirsiniz, sadece bellekte milyon * milyon matris oluşturmayan bir sınıflandırıcı kullanın :)

Lojistik regresyon birçok boyutu boğacaktır. Naive Bayes bağımsız boyutlar alır, bu yüzden iyi olacaksınız. SVM boyutların sayısına bağlı değildir (ancak destek vektörlerinin sayısına bağlıdır), bu yüzden de iyi olacaktır.

300 olsa da bir çok ders. Sadece birkaçı ile başlayıp yukarı çıkarım.

İlk olarak, yorumlarınıza dayanarak, bunu 300 ikili (evet / hayır) sınıflandırma problemleri olarak ele alırım. Kullanımı kolay birçok açık kaynak ikili sınıflandırıcı öğrenen vardır ve bu, bellek için zaman ticareti yapmanızı sağlar.

SVM'ler ve lojistik regresyon muhtemelen metin sınıflandırması için en popüler yaklaşımlardır. Her ikisi de kolayca 1000000 boyutları işleyebilir, çünkü modern uygulamalar seyrek veri yapıları kullanır ve aşırı sığmayı önleyen düzenlileştirme ayarlarını içerir.

WEKA ve KNIME dahil olmak üzere birçok açık kaynaklı makine öğrenme paketi hem SVM'leri hem de lojistik regresyonu içerir. SVM'lerin bağımsız uygulamaları arasında libSVM ve SVMlight bulunmaktadır . Lojistik regresyon için BXRtrain ve BXRclassify'ı takacağım için Madigan, Genkin ve diğerleri ile geliştirdiğim takacağım. BXRclassify, binlerce lojistik regresyon modelinin bir bellek içi dizinini oluşturabilir ve bunları aynı anda uygulayabilir.

Metni vektör formuna dönüştürmeye gelince, bir şekilde her zaman bunu sıfırdan yapmak için küçük bir Perl yazıyorum. :-) Ancak, bahsettiğim makine öğrenme süitlerinin tokenizasyon ve vektörizasyon kodunu içerdiğini düşünüyorum. Başka bir rota, LingPipe gibi doğal bir dil araç setiyle daha fazla gitmek olabilir, ancak bu sizin için aşırı olabilir.

Sklearn 0.13'ten beri gerçekten HashingVectorizer uygulaması var .

EDIT: İşte sklearn docs böyle bir uygulamanın tam teşekküllü bir örnek

Temel olarak, bu örnek, bilgisayarın ana belleğine sığmayan veriler (ancak disk / ağ / ...) üzerindeki verileri sınıflandırabileceğinizi gösterir.