Destek vektör makinesi büyük verilerde kullanılabilir mi?

SVM hakkında sahip olduğum sınırlı bilgi ile, kısa ve şişman bir veri matrisi (birçok özellik ve çok fazla örnek değil) iyidir , ancak büyük veriler için iyi değildir.$X$

Ben bir nedeni Çekirdek Matrix anlamak bir olduğunu matrisi, verilerdeki durumlarda sayısıdır. 100K verisi varsa, çekirdek matrisi elemente sahip olacak ve ~ 80G bellek alabilir.$K$$n \times n$$n$$K$$10^{10}$

Büyük verilerde kullanılabilecek SVM'de herhangi bir değişiklik var mı? (100K - 1M veri noktaları ölçeğinde mi?)

Bahsettiğiniz gibi, çekirdek matrisini depolamak, veri noktalarının sayısı ile karesel olarak ölçeklenen bir bellek gerektirir. Geleneksel SVM algoritmaları için eğitim süresi, veri noktalarının sayısıyla süper doğrusal olarak ölçeklenir. Bu nedenle, bu algoritmalar büyük veri kümeleri için uygun değildir.

$K_{ij}$$x_i$$x_j$$K_{ij} = \Phi(x_i) \cdot \Phi(x_j)$$\Phi$çekirdek işlevi tarafından örtülü olarak tanımlanır ve çekirdeklendirilmiş SVM'ler özellik alanı temsillerini açıkça hesaplamaz. Özellik alanı çok yüksek boyutlu veya hatta sonsuz boyutlu olabileceğinden, bu, küçük ve orta boyutlu veri kümeleri için hesaplama açısından etkilidir. Ancak, yukarıdaki gibi, bu büyük veri kümeleri için mümkün değildir. Bunun yerine, verileri açıkça doğrusal olmayan bir şekilde özellik alanına eşleyebiliriz, ardından özellik alanı gösterimleri üzerinde doğrusal bir SVM'yi etkili bir şekilde eğitebiliriz. Özellik alanı eşlemesi, belirli bir çekirdek işlevine yakın olacak şekilde oluşturulabilir, ancak 'tam' özellik alanı eşlemesinden daha az boyut kullanır. Büyük veri kümeleri için bu bize zengin özellik alanı gösterimleri sunabilir, ancak veri noktalarından çok daha az boyutu vardır.

Çekirdek yaklaşımı için bir yaklaşım Nyström yaklaşımını kullanır (Williams ve Seeger 2001). Bu, daha küçük bir alt matris kullanarak büyük bir matrisin özdeğerlerini / özvektörlerini yaklaşıklaştırmanın bir yoludur. Başka bir yaklaşım, randomize özellikler kullanır ve 'rastgele mutfak lavaboları' olarak adlandırılan zamanlardır (Rahimi ve Recht 2007).

Büyük veri kümelerinde SVM'leri eğitmenin başka bir hilesi, bir dizi küçük alt problemle optimizasyon problemine yaklaşmaktır. Örneğin, birincil problem üzerinde stokastik gradyan iniş kullanmak bir yaklaşımdır (diğerleri arasında). Optimizasyon cephesinde çok çalışma yapıldı. Menon (2009) iyi bir anket vermektedir.

Referanslar

Williams ve Seeger (2001). Çekirdek makinelerini hızlandırmak için Nystroem yöntemini kullanma.

Rahimi ve Recht (2007). Büyük ölçekli çekirdek makineleri için rastgele özellikler.

Menon (2009) . Büyük ölçekli destek vektör makineleri: Algoritmalar ve teori.