Anlamsal analiz için büyük verilerde liblinear kullanın

17

Semantik analiz problemine ilişkin verileri eğitmek ve sınıflandırmayı tahmin etmek için Libsvm kullanıyorum . Ancak , semantik analiz n-boyutlu problemle ilgili olduğu için büyük ölçekli veriler üzerinde bir performans sorunu vardır .

Geçen yıl, Liblinear piyasaya sürüldü ve performans darboğazını çözebilir. Ama çok fazla belleğe mal oldu . MapReduce , büyük veriler üzerinde anlamsal analiz problemini çözmenin tek yolu mudur ? Yoksa Liblinear'da bellek darboğazını geliştirebilecek başka yöntemler var mı?

machine-learning bigdata libsvm

— Martı GDI
kaynak

11

Apache Spark'a taşınan LIBLINEAR'ın erken bir sürümü olduğunu unutmayın . Bazı erken ayrıntılar ve proje sitesi için posta listesi yorumlarına bakın .

— Sean Owen
kaynak

Cevabınız için teşekkürler. SVM'den farklı görünüyor. Anket yaparım. :)

— Martı GDI

4

Site dışında bir cevaba bağlanmayı teşvik etmediğimizi hatırlatmak isteriz, çünkü bağlantıların kopması kolaydır, aksi takdirde yararlı bir topluluk kaynağının çıkmaza dönüşmesine neden olur. Cevabı doğrudan postanıza koymak her zaman en iyisidir.

— Ana

1

Buna katılıyorum. Bu noktada, zaten bu bağlantıdan daha fazlası kadar var değil. Temel projeye bir bağlantı ekleyeceğim.

— Sean Owen

10

Kontrol edebilirsiniz Vowpal wabbit'i . Büyük ölçekli öğrenme için oldukça popülerdir ve paralel hükümler içerir.

Web sitelerinden:

VW, terafeature veri kümelerinden kolaylıkla öğrenebilen, makine öğreniminde hızın özüdür. Paralel öğrenme yoluyla, öğrenme algoritmaları arasında bir ilk olan doğrusal öğrenme yaparken herhangi bir tek ağ arayüzünün verimini aşabilir.

— Marc Claesen
kaynak

1

Açık kaynak ve bazı wiki. Güzel görünüyor. Önerin için teşekkürler. :)

— Martı GDI