SVM'ler = Şablon Eşleştirme nasıl?

SVM'leri okudum ve bir optimizasyon problemi çözdüklerini ve maksimum marj fikrinin çok makul olduğunu öğrendim.

Şimdi, çekirdekleri kullanarak, doğrusal olmayan ayırma sınırlarını bile bulabilirler ki bu harikaydı.

Şimdiye kadar, SVM'lerin (özel bir çekirdek makinesi) ve çekirdek makinelerinin sinir ağlarıyla nasıl ilişkili olduğu hakkında hiçbir fikrim yok mu?

Yorumlarına düşünün Yann Lecun => burada :

kernel methods were a form of glorified template matching

ve burada da :

Örneğin, bazı insanlar onunla birlikte gelen sevimli matematik nedeniyle çekirdek yöntemleri ile göz kamaştırdı. Ancak, geçmişte söylediğim gibi, sonunda çekirdek makineleri “yüceltilmiş şablon eşleştirmesi” yapan sığ ağlardır. Bununla ilgili yanlış bir şey yok (SVM harika bir yöntemdir), ancak hepimizin bilmemiz gereken korkunç sınırlamaları vardır.

Yani sorularım:

1. SVM sinir ağı ile nasıl ilişkilidir? Sığ bir ağ nasıl?
2. SVM, iyi tanımlanmış bir objektif işlevle bir optimizasyon problemini çözer, şablon eşleştirme nasıl yapılır? Burada bir girdinin eşleştirildiği şablon nedir?

Bu yorumların yüksek boyutlu uzayları, sinir ağlarını ve çekirdek makinelerini tam olarak anlaması gerektiğini düşünüyorum, ancak şimdiye kadar denedim ve arkasındaki mantığı kavrayamadım. Ancak iki çok farklı ml tekniği arasındaki bağlantıları not etmek kesinlikle ilginçtir.

EDIT: Bence SVM'leri Sinirsel bir perspektiften anlamak harika olurdu. Hem doğrusal SVM hem de çekirdek hile ile SVM'lerde SVM'ler ve Sinir Ağları arasındaki bağlantıyı gerçekten anlamak için yukarıdaki iki soruya kapsamlı bir matematik destekli cevap arıyorum.

1. SVM sinir ağı ile nasıl ilişkilidir? Sığ bir ağ nasıl?

SVM, kayıp fonksiyonu ve sadece doğrusal aktivasyon olarak menteşe kaybına sahip tek katmanlı bir sinir ağıdır. Konsept daha önceki iş parçacıklarında bu şekilde ifade edilmiştir: RelU aktivasyonu SVM'ye eşit olan tek katmanlı NeuralNetwork

2. SVM, iyi tanımlanmış bir objektif işlevle bir optimizasyon problemini çözer, şablon eşleştirme nasıl yapılır? Burada bir girdinin eşleştirildiği şablon nedir?

Gram Matrisi (isterseniz Çekirdek Matrisi) benzerliğin bir ölçüsüdür. SVM seyrek çözümlere izin verdiğinden, tahmin örneğinizi şablonlarla, yani destek vektörleriyle karşılaştırma meselesi haline gelir.