Hangi makine öğrenimi sınıflandırıcıları en paralelleştirilebilir?

Hangi makine öğrenimi sınıflandırıcıları en paralelleştirilebilir? Zor bir sınıflandırma sorunu, sınırlı bir süre, ancak çalışmak için iyi bir bilgisayar LAN varsa, hangi sınıflandırıcılar denemek istiyorsunuz?

El dışında bana aşağıdaki gibi yığını bildiğim bazı standart sınıflandırıcılar gibi görünüyor ama tamamen yanlış olabilir:

Rastgele Ormanlar - Her makine tüm verileri tutabildiği sürece çok paralelleştirilebilir (yani eğitim verilerini kendi başına bölemez, ancak başka türlü paralelleştirilebilir).

Artırma -?

Destek Vektör Makinesi - Çok paralel değil.

Karar ağaçları - Kısmen bölünebilir, ancak çok verimli olamaz.

[Artırılması da dahil olmak üzere iyi bilinen sınıflandırıcıların en paralelleştirme çabaları olmuştur bir kağıt ], SVM [ kağıt ] ve hatta karar ağaçları [ kağıt ]. Tabii ki, paralellik kabul ederek, bazen algoritma uygulanabilirliği, örnek karmaşıklığı veya diğer olağan şüpheliler gibi diğer yönlerini kaybedersiniz.

Teori sonundan itibaren soru daha zordur çünkü öğrenme hakkında konuştuğunuzda hedef fonksiyon hakkında düşünmeniz gerekir. Örneğin, karar ağaçlarının PAC tarafından öğrenilebilir olduğunu bile bilmiyoruz, bu nedenle hedef (ve yöntemin yanı sıra) bir karar ağacı ise, o zaman sorun. Artırmak, zayıf bir öğrenme koşulu, SVM bir marj, vb. Varsayarak bu sorunların üstesinden gelir.

Ancak her zaman olduğu gibi, teorinin ve uygulamanın sınırları (ve dolayısıyla endişeleri) arasında büyük bir boşluk vardır. Örneğin, pratikte, paralelliğin çekirdekler veya kümeler üzerinde olup olmadığı önemlidir. Özellikle büyük veri ayarlarında pratik kullanım için geliştirilen bir algoritma VW'dir ve paralelliği desteklemeye başlar . NIPS 2010 atölyesinde pratik paralel öğrenme ile ilgili makalelere ilgi duyabilirsiniz .