Uzun yağ verileri ile sınıflandırma

Dizüstü bilgisayarımda yüz binlerce veri noktası ve yaklaşık on bin özellik ile doğrusal bir sınıflandırıcı eğitmem gerekiyor. Seçeneklerim neler? Bu tür bir problem için son teknoloji nedir?

Stokastik degrade iniş umut verici bir yön gibi görünüyor ve benim düşüncem bu son teknoloji:

"Pegasos: SVM için Primal Tahmini alt GrAdient SOlver" Shai Shalev-Shwartz, Yoram Şarkıcı, Nathan Srebro, Andrew Cotter. "Matematiksel Programlama, Seri B, 127 (1): 3-30, yıl: 2007."

Bu mutabakat mı? Başka bir yöne mi bakmalıyım?

Çevrimiçi Öğrenme yöntemlerine bakmanız gerektiğini düşünüyorum . perseptron ve çekirdek algılayıcı kodu ve iş son derece iyi de pratikte son derece kolaydır ve diğer çevrimiçi yöntemlerin bir bütün ana vardır. Herhangi bir çevrimiçi öğrenme yönteminin bir yığın öğrenme algoritmasına dönüştürülebileceğini unutmayın, bu durumda stokastik gradyan iniş yöntemlerine çok benzemektedirler.

Matlab kullanıyorsanız , bir dizi çevrimiçi öğrenme algoritması içeren Francesco Orabona tarafından DOGMA adlı gerçekten güzel bir araç kutusu vardır ve bunu kullanarak birkaç farklı yöntemi değerlendirebilirsiniz. Bunu bazı araştırmalarımda kullandım ve çok yararlı buldum (hatırladığım kadarıyla verileri [özellikler x örnekler] olarak beklediğini unutmayın, bu yüzden onu aktarmanız gerekebilir).

$\ell_2$$\epsilon$$\ell_2$

İlk olarak, doğrusal sınıflandırıcının en iyi seçim olduğunu nasıl bildiğinizi sormak isterim? Sezgisel olarak böyle geniş bir alan için (R ^ 10000), diğer bazı doğrusal olmayan sınıflandırıcıların daha iyi bir seçim olması mümkündür.

Birkaç farklı sınıflandırıcı denemenizi ve tahmin hatalarını gözlemlemenizi öneririm (birkaç düzenli sınıflandırma modeli deneyeceğim).

Belleğiniz biterse, PCA kullanarak boyutu azaltın

PCA'yı, kovaryans matrisini hesaplamadan boyutları azaltmak için --- PCA'nın nöral newtork eşdeğerini kullanarak da kullanabilirsiniz.

İşte bunu anlatan bir makale (ancak kendi aramanızı yapmanızı tavsiye ederim): http://users.ics.tkk.fi/oja/Oja1982.pdf ve işte matlab uygulaması olabilecek bazı şeylerin bağlantısı: http : //www.cs.purdue.edu/homes/dgleich/projects/pca_neural_nets_website/index.html .

Jb'nin önerdiği gibi, bir "Boyut Azaltma" yöntemi kullanmak daha iyi olduğunu düşünüyorum. İlke Bileşen Analizi (PCA) popüler bir seçimdir. Ayrıca denetimsiz özellik öğrenme tekniklerini de deneyebilirsiniz. Denetimsiz özellik öğrenme hakkında daha fazla bilgi için http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial adresinde bulunabilir.