SVM'de normalleştirme parametresi için sezgi

Bir SVM'deki düzenleme parametresini değiştirmek, ayrılamayan bir veri kümesi için karar sınırını nasıl değiştirir? Görsel bir cevap ve / veya sınırlayıcı davranışlar hakkında (büyük ve küçük düzenlilik için) bazı yorumlar çok yardımcı olacaktır.

svm

— ASX
kaynak

Düzenleme parametresi (lambda), yanlış sınıflandırmalara verilen önem derecesi olarak hizmet eder. SVM, her iki sınıf arasındaki marjı en üst düzeye çıkarmak ve yanlış sınıflandırma miktarını en aza indirmek isteyen ikinci dereceden bir optimizasyon problemi oluşturur. Bununla birlikte, ayrılamayan problemler için, bir çözüm bulmak amacıyla, yanlış sınıflandırma kısıtlaması gevşetilmelidir ve bu, söz konusu "düzenlileştirme" ayarlanarak yapılır.

Bu nedenle, sezgisel olarak, lambda büyüdükçe yanlış sınıflandırılmış örneklere daha az izin verilir (veya kayıp fonksiyonundaki ödemenin fiyatı en yüksek olur). Daha sonra lambda sonsuz olma eğiliminde olduğunda, çözüm sert marja eğilimlidir (kaçırılmayacak sınıflandırmaya izin vermeyin). Lambda 0'a (0 olmadan) eğilimliyse, daha fazla özledim sınıflandırmasına izin verilir.

Bu iki ve normalde daha küçük lambdalar arasında kesinlikle bir ödünleşim var, ama çok küçük değil, iyi genelleştirin. Aşağıda doğrusal SVM sınıflandırması (ikili) için üç örnek verilmiştir.

Doğrusal SVM Lambda = 0.1 Doğrusal SVM Lambda = 1 resim açıklamasını buraya girin

Doğrusal olmayan çekirdek SVM için fikir benzerdir. Bu göz önüne alındığında, daha yüksek lambda değerleri için daha fazla takma olasılığı daha yüksekken, daha düşük lambda değerleri için daha yüksek donma olasılığı vardır.

Aşağıdaki resimler RBF Çekirdeğinin davranışını göstermektedir, sigma parametresinin 1'e sabitlenmesine ve lambda = 0.01 ve lambda = 10'u denemesine izin vermektedir.

RBF Çekirdek SVM lambda = 0.01 RBF Çekirdek SVM lambda = 10

Lambda'nın daha düşük olduğu ilk rakamın, verilerin daha hassas bir şekilde yerleştirilmesi amaçlanan ikinci rakamdan daha "rahat" olduğunu söyleyebilirsiniz.

(Prof. Oriol Pujol. Universitat de Barcelona'dan slaytlar)

— Javierfdr
kaynak

Güzel fotoğraflar! Onları kendin mi yarattın? Evetse, belki onları çizmek için kodu paylaşabilirsiniz?

— Alexey Grigorev

güzel grafikler. Son iki => metinden, ilk resim örtük olarak lambda = 0.01 olanı düşünür, ama benim anlayışımdan (ve başlangıçtaki grafikle tutarlı olmak için) bu lambda = 10 olanıdır. bu açıkça en az düzenli olanıdır (en uygun, en rahat).

— Wim 'titte' Thiels

^ Bu da benim anlayışım. İki renk grafiğinin üstü, verilerin şekli için daha fazla kontur açıkça göstermektedir, bu nedenle SVM denkleminin marjının daha yüksek lambda ile tercih edildiği grafik olmalıdır. İki renk grafiğinin alt kısmı, verilerin daha rahat bir sınıflandırmasını (turuncu alanda küçük mavi küme) gösterir; yani, sınıflandırmadaki hata miktarını en aza indirgemek için marj maksimizasyonu tercih edilmemiştir.

— Brian Ambielli