SVM optimal C ve gama parametrelerini belirlemek için hangi arama aralığı?

32

Sınıflandırma için SVM kullanıyorum ve doğrusal ve RBF çekirdekleri için en uygun parametreleri belirlemeye çalışıyorum. Doğrusal çekirdek için C'yi belirlemek için çapraz doğrulanmış parametre seçimini, RBF çekirdeği için ise C ve gama belirlemek için ızgara aramasını kullanın.

20 (sayısal) özellik ve 7 sınıfa ayrılması gereken 70 eğitim örneğim var.

C ve gama parametreleri için en uygun değerleri belirlemek için hangi arama aralığını kullanmalıyım?

classification svm kernel-trick

— Kywia
kaynak

31

Check out SVM Sınıflandırma için pratik bir rehber bazı işaretçiler, özellikle sayfa 5 için.

Çapraz doğrulama kullanarak ve üzerinde "grid arama" yapmanızı öneririz . Çeşitli çift değerleri denenir ve en iyi çapraz doğrulama doğruluğuna sahip olan seçilir. Üstel bir şekilde büyüyen ve dizilerinin iyi parametreleri tanımlamak için pratik bir yöntem olduğunu gördük (örneğin, ). $C$ $\gamma$ $(C,\gamma)$ $C$ $\gamma$ $C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Öncelikle verilerinizi normalleştirmeyi unutmayın; eğer yapabilirseniz, görünümünden dolayı daha fazla veri toplayın, ancak probleminiz çok az belirlenebilir.

— Ciri
kaynak

Akran testi manuel olarak yapılmalı mı? Bunu elde etmek için bir kütüphane yok mu?

— x-rw

11

Bu makalenin 2.3.2 bölümünü Chapelle ve Zien tarafından inceleyin. SVM için RBF çekirdeğinin sigma'sı ve için iyi bir arama aralığı seçmek için güzel bir buluşsal var . Alıntı yaparım $\sigma$ $C$

Kalan serbest parametrelerin iyi değerlerini belirlemek için (örneğin CV), doğru ölçekte arama yapmak önemlidir. Bu nedenle , doğru büyüklük sırasına sahip olan ve için varsayılan değerleri düzeltiriz . Bir sınıfı problemde , tüm veri noktalarının ikili uzaklıkları varsayılan olarak . için varsayılan , ile hesaplanabilen, özellik uzayındaki ampirik varyansının tersidir. bir gelen çekirdek matris . $C$ $\sigma$ $c$ $1/c$ $D^\rho_{ij}$ $\sigma$ $C$ $s^2$ $s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$ $n\times n$ $K$

Daha sonra, (örneğin, katları kullanımı için ) bir arama aralığı olarak varsayılan değer enine doğrulamayı ızgara-arayın. Bu benim için her zaman çok iyi çalıştı. $2^k$ $k\in \{-2,...,2\}$

Tabii ki, biz ciri dedi, verileri normalleştirmek vs. her zaman iyi bir fikirdir.

— fabee
kaynak

Birkaç eşit rbf çekirdeği formülasyonu olduğunu düşünüyorum. Biri gama ve diğeri sigma ile, yani gama = 1 / 2sigma ^ 2. Yukarıdaki sezgisel taramadaki gama gama, sigma veya sigma ^ 2 ile aynı mı? Gamma için olan aynı heurstik için başka açıklamalar da buldum.

— makinalar

Bağlantılı kağıdı kontrol ederseniz,

\frac{1}{2 σ^{2}}

$\frac{1}{2\sigma^2}$

— fabee

@fabee Akran testi manuel olarak yapılmalı mı? Bunu elde etmek için bir kütüphane yok mu?

— x-rw