Yapay Sinir Ağlarının Destek Vektör Makinelerine Göre Avantajları Nelerdir? [kapalı]

YSA (Yapay Sinir Ağları) ve SVM (Destek Vektör Makineleri), denetimli makine öğrenimi ve sınıflandırması için iki popüler stratejidir. Belirli bir proje için hangi yöntemin daha iyi olduğu çoğu zaman net değildir ve cevabın her zaman "duruma bağlı" olduğundan eminim. Genellikle, Bayes sınıflaması ile birlikte her ikisinin bir kombinasyonu kullanılır.

Stackoverflow ile ilgili şu sorular ANN vs SVM ile ilgili olarak sorulmuştur:

YSA ve SVM sınıflandırması

Sınıflandırma sorumdaki YSA, SVM ve KNN arasındaki fark nedir

Metin işleme için Vektör Makinesi veya Yapay Sinir Ağını destekliyor musunuz?

Bu soruda, bir YSA'nın (özellikle Çok Katmanlı Bir Algılayıcı) hangi yönlerinin bir SVM üzerinden kullanılmasını cazip hale getirebileceğini özellikle bilmek istiyorum. Sormamın nedeni, karşıt soruyu cevaplamanın kolay olması : Destek Vektör Makineleri genellikle YSA'lardan daha üstündür çünkü YSA'ların iki büyük zayıflığından kaçınırlar:

(1) YSA'lar genellikle küresel minimadan ziyade yerel minimada birleşirler , yani bazen "büyük resmi kaçırırlar" (veya ağaçlar için ormanı kaçırırlar)

(2) Eğitim çok uzun sürerse ANN'ler genellikle fazladır , yani herhangi bir model için bir YSA, gürültüyü modelin bir parçası olarak düşünmeye başlayabilir.

SVM'ler bu iki sorunun hiçbirinden muzdarip değildir. Bununla birlikte, SVM'lerin YSA'ların yerine geçmesi gerektiği açıkça görülmemektedir. Peki belirli avantaj (lar) bir YSA belli durumlar için uygulanabilir hale olabilecek bir SVM üzerinde var? Bir YSA'ya göre bir SVM'nin belirli avantajlarını listeledim , şimdi YSA avantajlarının bir listesini (varsa) görmek istiyorum.

Sağladığınız örneklerden yola çıkarak, YSA'larla, çok katmanlı algılayıcılar gibi çok katmanlı ileri beslemeli ağlar (kısaca FF ağları) anlamına geldiğini varsayıyorum, çünkü bunlar SVM'lerle doğrudan rekabet halindedir.

Bu modellerin SVM'lere göre sahip olduğu özel bir fayda, boyutlarının sabit olmasıdır: parametrik modellerdir, SVM'ler parametrik değildir. Yani, bir YSA'da, h ₁ ila h _n boyutlarında bir grup gizli katmanınız vardır.özellik sayısına, artı yanlılık parametrelerine ve modelinizi oluşturan özelliklere bağlı olarak. Aksine, bir SVM (en azından çekirdeklenmiş olan), her biri için bir ağırlık ile eğitim setinden seçilen bir dizi destek vektöründen oluşur. En kötü durumda, destek vektörlerinin sayısı tam olarak eğitim örneklerinin sayısıdır (ancak esas olarak küçük eğitim setlerinde veya dejenere durumlarda ortaya çıkar) ve genel olarak model boyutu doğrusal olarak ölçeklenir. Doğal dil işlemede, her biri yüz binlerce özelliğe sahip on binlerce destek vektörü bulunan SVM sınıflandırıcıları duyulmamıştır.

Ayrıca, FF ağlarının çevrimiçi eğitimi , çevrimiçi SVM bağlantısına kıyasla çok basittir ve tahmin etmek biraz daha hızlı olabilir.

DÜZENLEME : yukarıdakilerin hepsi genel çekirdeklenmiş SVM durumu ile ilgilidir. Doğrusal SVM parametrik olmaları ve stokastik gradyan iniş gibi basit algoritmalarla çevrimiçi öğrenmeye izin vermeleri açısından özel bir durumdur .

Yapay sinir ağlarının destek vektör makinelerine göre bariz bir avantajı, yapay sinir ağlarının herhangi bir sayıda çıktıya sahip olabileceği, destek vektör makinelerinin ise sadece bir çıkışa sahip olabileceğidir. Destek vektör makineleri ile bir n-ary sınıflandırıcı oluşturmanın en doğrudan yolu, n destek vektör makineleri oluşturmak ve her birini tek tek eğitmektir. Öte yandan, sinir ağları olan bir n-ary sınıflandırıcısı bir seferde eğitilebilir. Ek olarak, sinir ağı daha anlamlı olacaktır, çünkü bir bütündür, destek vektör makineleri yalıtılmış sistemlerdir. Bu, özellikle çıktılar birbiriyle ilişkili ise yararlıdır.

Örneğin, hedef elle yazılmış rakamları sınıflandırmak olsaydı, on destek vektör makinesi yapardı. Her destek vektör makinesi tam olarak bir basamağı tanıyacak ve diğerlerini tanıyamayacaktır. El yazısıyla yazılan her rakam sadece sınıfından daha fazla bilgi tutamayacağından, bunu yapay bir sinir ağı ile çözmeye çalışmak mantıklı değildir.

Bununla birlikte, amacın bir kişinin hormon dengesini (birkaç hormon için) son yemekten bu yana geçen zaman, kalp atış hızı vb.Gibi kolayca ölçülebilen fizyolojik faktörlerin bir fonksiyonu olarak modellemek olduğunu varsayalım ... Bu faktörlerin hepsi birbiriyle ilişkili, yapay sinir ağ regresyonu, vektör makine regresyonunu desteklemekten daha mantıklıdır.

Dikkat edilmesi gereken bir şey, bu ikisinin aslında çok ilgili olduğudur. Doğrusal SVM'ler tek katmanlı NN'lere (yani algılayıcılar) eşdeğerdir ve çok katmanlı NN'ler SVM'ler olarak ifade edilebilir. Bkz burada bazı detaylar için.

Çekirdek SVM kullanmak istiyorsanız, çekirdeği tahmin etmeniz gerekir. Bununla birlikte, YSA'lar sadece yapılması gereken tahmini genişlik (yaklaşık doğruluk) ve yükseklik (yaklaşık verim) olan evrensel yaklaşımlardır. Optimizasyon problemini doğru bir şekilde tasarlarsanız, fazla uymazsınız (lütfen fazla takma için kaynakçaya bakın). Arama alanını doğru ve düzgün bir şekilde taramaları da eğitim örneklerine bağlıdır. Genişlik ve derinlik keşfi tamsayı programlama konusudur.

I = [0,1] üzerinde yine aralıklı sınırlı f (.) Fonksiyonlarına ve sınırlı evrensel yaklaşımlara sahip olduğunuzu varsayalım. Örneğin, U bir dizi dizinin mevcut olması

lim sup { |f(x) - U(x,a(k) ) | : x } =0

ve (x,y)D dağıtımı ile örnekler ve testler çiziyorsunuz IxI.

Öngörülen bir destek için yaptığınız en iyisini bulmaktır.

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

a=aaRastgele bir değişken olan bu olsun !, O zaman aşırı uydurma

ortalama kullanma D and D^{N} of ( y - U(x,aa) )^{2}

Nedenini açıklayayım aa, hatayı en aza indirecek şekilde seçerseniz , nadir bir değer kümesi için mükemmel uyum sağlarsınız. Bununla birlikte, nadir oldukları için ortalama hiçbir zaman 0 değildir.

Burada bir cevap eksik: Çok katmanlı algılayıcı, özellikler arasındaki ilişkiyi bulabiliyor. Örneğin, öğrenme algoritmasına ham bir görüntü sağlandığında ve şimdi Gelişmiş özellikler hesaplandığında bilgisayar görüşünde gereklidir. Temelde ara seviyeler yeni bilinmeyen özellikleri hesaplayabilir.

SVM sisteminin , etiketli grafik veya dizeler gibi metrik olmayan alanlara doğrudan uygulanabileceğini de düşünmeliyiz . Aslında, iç çekirdek işlevi, çekirdeğin pozitif kesinlik gereksiniminin karşılanması koşuluyla, hemen hemen her türlü girdiye uygun şekilde genelleştirilebilir. Öte yandan, bir ANN'yi bir dizi etiketli grafikte kullanabilmek için açık gömme prosedürleri göz önünde bulundurulmalıdır.