Destek vektör makineleri ile Gamma parametresinin kullanımı

9

Kullanırken libsvm, parametresi çekirdek işlevi için bir parametredir. Varsayılan değeri Olarak ayarlanmıştır $\gamma$

γ = \frac{1}{özellik sayısı.}

$\gamma = \frac{1}{\text{number of features.}}$

Bu parametreyi ayarlamak için mevcut yöntemlerin yanı sıra ızgara arama gibi herhangi bir teorik rehberlik var mı?

— user3269
kaynak

8

Aşağıdaki teorik rehberliği öneririm. Gaussian RBF çekirdeğini kullandığınızda, ayırma yüzeyiniz her destek vektörüne ortalanmış çan şeklindeki yüzeylerin bir kombinasyonuna dayanacaktır. Her çan şeklindeki yüzeyin genişliği ile ters orantılı olacaktır . Bu genişlik verileriniz için minimum çift mesafeden daha küçükse, aslında fazla sığmanız gerekir. Bu genişlik verileriniz için maksimum çift mesafeden daha büyükse, tüm puanlarınız bir sınıfa girer ve iyi bir performansa sahip olmazsınız. Dolayısıyla optimum genişlik bu iki uç arasında bir yerde olmalıdır. $\gamma$

— Aslan burcu
kaynak

pair-wise distance for your data= ölçeklemeden sonra basit Öklid mesafesi?

— ihadanny

5

Hayır, aslında verilere bağlıdır. Izgara araması (log dönüştürülmüş hiper parametrelerin üzerinde), ayarlamak için yalnızca az sayıda hiper parametreniz varsa, ancak ızgara çözünürlüğünü çok iyi yapmıyorsanız veya ayarlamayı aşırı uyduysanız çok iyi bir yöntemdir. ölçütü. Çok sayıda çekirdek parametresiyle ilgili sorunlar için Nelder-Mead simpleks yönteminin iyi çalıştığını görüyorum.

— Dikran Keseli
kaynak

Dikran, cevap için teşekkürler. "Veriye bağlı" hakkında daha fazla bilgi verebilir misiniz? R ile bir veri kümesi arasındaki ilişki nedir? Veya başka bir deyişle, bir veri kümesi verildiğinde, bu verilere dayanarak r tanımlamanın bir yolu var mı?

— user3269 20:12

1

Esasen "verilere bağlı", sadece en iyi ayarların verinin belirli yapısına göre değişeceği anlamına gelir ve bunları ayarlamak için genellikle çapraz doğrulama hatasını en aza indirmekten daha iyi bir yol yoktur. Çekirdek yöntemleri, çekirdeği öğrenmeye ilişkin daha teorik analizlerle gerçekten yapabilir, ancak maalesef bu matematiksel olarak çok zordur.

— Dikran Marsupial