R, metin sınıflandırma görevlerine ne kadar iyi ölçeklenir? [kapalı]

R ile hız kazanmaya çalışıyorum. Sonunda metin sınıflandırma yapmak için R kütüphanelerini kullanmak istiyorum. Metin sınıflandırma söz konusu olduğunda, insanların R'nin ölçeklenebilirliği ile ilgili deneyimlerinin neler olduğunu merak ediyordum.

Büyük boyutlu verilerle karşılaşmam muhtemel (~ 300k boyutları). Özellikle sınıflandırma algoritmaları olarak SVM ve Random Forest kullanmaya bakıyorum.

R kütüphaneleri sorun büyüklüğüme ölçeklenir mi?

Teşekkürler.

EDIT 1: Açıklığa kavuşturmak için, veri setimin 1000-3000 satır (belki biraz daha fazla) ve 10 sınıfa sahip olması muhtemel.

2 EDIT: R için çok yeni olduğum için, posterlerin mümkün olduğunda daha spesifik olmasını isteyeceğim. Örneğin, bir iş akışı / boru hattı öneriyorsanız, lütfen mümkünse her adımda yer alan R kitaplıklarından bahsettiğinizden emin olun. Bazı ek işaretçiler (örnekler, örnek kodlar vb.) Kek üzerine krema yapar.

EDIT 3: Öncelikle, yorumlarınız için herkese teşekkürler. İkincisi, özür dilerim, belki de sorun için daha fazla bağlam vermeliydim. R'ye yeniyim, ancak metin sınıflandırması için fazla değil. Verilerimin bir kısmını tm paketini kullanarak , sadece bir şeyler hissetmek için ön işleme (stemming, stopword kaldırma, tf-idf dönüştürme vb.) Yaptım . Tm yaklaşık 200doc'da bile yavaştı, ölçeklenebilirlik konusunda endişelendim. Sonra FSelector ile oynamaya başladım ve hatta bu gerçekten yavaştı. İşte bu benim OP'mi yaptığım nokta.

DÜZENLEME 4: Yeni ortaya çıktı, sınıf başına 10 sınıf ve yaklaşık ~ 300 eğitim belgesine sahibim ve aslında Xdoc matrisi terimini tüm eğitim setinin dışına çıkarıp çok yüksek bir boyutluluğa neden oluyor. Ancak, her biri bir arada sınıflandırma problemini bir dizi ikili sınıflandırma problemine indirgemeye ne dersiniz? Bu, K-1 adımlarının her birindeki eğitim belgelerinin sayısını (ve dolayısıyla boyutsallığı) büyük ölçüde azaltacaktır, değil mi? Öyleyse bu yaklaşım iyi mi? Normal çok sınıflı uygulama ile doğruluk açısından nasıl karşılaştırılır?

Bir yorumda istendiği gibi, işlem adımları için bazı öneriler aşağıdadır. Doğal Dil İşleme için CRAN Task View'ta çeşitli araçlar bulunabilir . Ayrıca, bu makaleye tmR'nin (metin madenciliği) paketinde bakmak isteyebilirsiniz .

1. İşlemden önce, belirteçlerin normalleştirilmesini düşünün. openNLP(bunun için bir R paketi var) bir yol.
2. Metin işleme için, ortak bir ön işleme adımı, verileri tf.idf- terim sıklığı * ters belge sıklığı yoluyla normalleştirmek - daha fazla ayrıntı için Wikipedia girişine bakın. Daha yeni normalleşmeler var, ancak bu bir ekmek ve tereyağı yöntemi, bu yüzden bunu bilmek önemlidir. Kolayca R: 'e koyabilirsiniz (sadece docID, wordID, freq1, freq2); burada freq1, wordID ile indekslenen kelimenin verilen belgede göründüğü sayıdır ve freq2, içinde bulunduğu belgelerin sayısıdır. Belirli bir belgede görünmeyen kelimeler için bu vektörü saklamanıza gerek yok. Ardından, sadece freq1 / freq2 değerini alın ve tf.idf değerine sahip olursunuz.
3. Tf.idf değerlerini hesapladıktan sonra, verilerinizin tam boyutuyla çalışabilir veya esasen bilgilerle ilgili olmayan sözleri filtreleyebilirsiniz. Örneğin, sadece 1 belgede görünen herhangi bir kelime çok fazla fikir vermeyecektir. Bu, boyutluluğunuzu önemli ölçüde azaltabilir. İncelenen küçük belge sayısı göz önüne alındığında, yalnızca 1 K boyutuna indirmenin uygun olduğunu görebilirsiniz.
4. Verileri yeniden girmeyeceğim (örneğin PCA için), ancak verileri Matrixpaketin desteklediği gibi seyrek matrisleri kullanarak kolaylıkla bir terim matrisinde (girişlerin şimdi tf.idf değerleri olduğu) saklayabilirsiniz .

Bu noktada, önceden işlenmiş bir veri kümeniz var. CRAN görev görünümünde veya metin madenciliği paketinde belirtilen araçlarla ilerlemenizi tavsiye ederim. Verilerin kümelenmesi, örneğin ilk 4 veya 6 temel bileşene yansıtılması, veriler çizildiğinde grubunuz için çok ilginç olabilir.

Başka bir şey: PCA (*) çizgileri boyunca boyutsallığın azaltılmasının, ilgili kelimeleri birleştirdiğiniz için, çeşitli sınıflandırma yöntemlerini kullanırken yardımcı olabileceğini görebilirsiniz. İlk 10-50 ana bileşen, örneklem büyüklüğünüz göz önüne alındığında, belge sınıflandırması için ihtiyacınız olan her şey olabilir.

(*) Not: PCA sadece ilk adımdır. Metin madenciliği ve PCA ile yeni başlayan biri için çok ilginç olabilir, ancak sonunda bunun seyrek veri kümeleri için biraz sıkıntı olduğunu görebilirsiniz. İlk adım olarak, özellikle prcompve princompişlevleri aracılığıyla buna bir göz atın .

Güncelleme: Bu cevapta bir tercih belirtmedim - prcompyerine tavsiye ederim princomp.

İlk olarak, hoşgeldin! Metin işleme oldukça eğlencelidir ve R'de yapmak her zaman daha kolay hale gelir.

Kısa cevap: evet - R'deki araçlar artık bu tür verilerle ilgilenmek için oldukça iyi durumda. Aslında, R, C ++, Groovy, Scala veya RAM'de veri depolaması söz konusu olduğunda başka bir dilde özel bir şey yok: her dilde 8 bayt çift float var ... bekle ... bekle. .. 8 bayt!

Algoritmalar ve bunların uygulanması, özellikle veri yapıları ve hesaplama karmaşıklığı açısından çok zayıf bir şekilde uygulandığında önemlidir. Kendi algoritmalarınızı uyguluyorsanız, sadece dikkat edin. Başka bir kod kullanılıyorsa, uyarıcı emptor, herhangi bir ortamda olduğu gibi uygulanır.

R için aşağıdakileri göz önünde bulundurmanız gerekir:

1. Veri gösteriminiz (özellikle Matrixpakette bulunan seyrek matrislere bakınız )
2. Veri depolama ( Hadoop kullanarak belki haritalanmış, kullanarak bigmemoryveya ff; veya dağıtılmış)
3. Veri bölümlemeniz (RAM’e ne kadar sığacağınıza bağlı olarak ne kadar RAM’iniz olduğuna bağlı)

Son nokta gerçekten senin kontrolün altında.

Bu boyutluluğa gelince, artık özellikle büyük değil. Gözlem sayısı daha fazla bir etki yaratacaktır, ancak RAM kullanımına uyum sağlamak için verilerinizi bölümlendirebilirsiniz, bu yüzden endişelenmeniz gereken bir şey yoktur.

Crayola ile satır sayısının burada çok önemli olduğu konusunda hemfikirim. RF için veri kümenizin ağırlığından en az 3 kat daha fazla RAM'e ve muhtemelen çok fazla zamana ihtiyacınız olacaktır (bu tür nitelikler genellikle ormanda çok fazla ağaç gerektirir - ve R'de paralel RF uygulaması yoktur).

SVM hakkında, 300k boyutlarıyla mücadele etmenin iyi bir fikir olduğunu düşünürken, muhtemelen metin tanımlayıcılarınıza eşdeğer bir çekirdek işlevi geliştirebilirsiniz.

EDIT: 3k x 30k (gerçek) matris 7Gb gibi bir şey işgal eder, bu nedenle bu veride RF (randomForest kullanarak) yapmanız gereken tek şey 16GB RAM, biraz şans ve biraz zaman veya sadece 24GB olan bir bilgisayardır. RAM ve biraz zaman.