SVM ızgara araması, çevresinde düşük doğruluklara sahip yüksek doğruluklu bir bölge mi göstermelidir?

12 pozitif eğitim setim var (her biri 12 farklı etki mekanizmasına sahip ilaçlarla tedavi edilen kanser hücreleri). Bu pozitif eğitim setlerinin her biri için, bir deney-vektör makinesini deneyden örneklenen negatif boyutta negatif bir setten ayırt etmek için eğitmek istiyorum. Her sette 1000 ila 6000 hücre vardır ve her hücrenin doğrusal olarak [0, 1] olarak ölçeklendirilmiş 476 özelliği (görüntü özellikleri) vardır.

Kullandığım LIBSVM ve Gauss RGB çekirdeği. Beş kat çapraz validasyon kullanarak log₂ C ∈ [-5, 15] ve log₂ ɣ ∈ [-15, 3] için bir ızgara araması yaptım. Sonuçlar aşağıdaki gibidir:

Şebeke aramasının sonuçları

Tüm 12 sınıflandırma problemi için yüksek doğruluk sağlayan tek bir parametre seti olmadığından hayal kırıklığına uğradım. Ayrıca, ızgaraların genellikle düşük doğruluklarla çevrili yüksek doğruluklu bir bölge göstermemesine şaşırdım. Bu sadece arama parametresi alanını genişletmem gerektiği anlamına mı geliyor, yoksa ızgara araması başka bir şeyin yanlış olduğunun bir göstergesi mi?

svm

— Vebjorn Ljosa
kaynak

Re hayal kırıklığı: Sen o zaman neden her sorun aynı parametrelere sahip istemem ediyorum sen hyperparameters (log gama ve C) hisse iyi değerlere sorunları bekliyoruz?

— eşlenik

@ Konjugat Öncesi: Eğitim setleri aynı deneyin alt kümeleridir ve negatif eğitim setleri aynı popülasyondan örneklenmiştir, bu yüzden aynı RBF çekirdek genişliğinin ɣ etkili olacağını ummuştum. Pozitif kümeler aynı arka plan (negatif) popülasyonundan ayırt edildiğinden, ideal C cezasının da benzer olacağını ummuştum. Aksi takdirde SVM'nin uygulanmasını gerçekten zorlaştırır. Örneğin, yumuşak artırmanın ayarlanması çok daha kolay görünüyor.

— Vebjorn Ljosa

Aha. Ama bana öyle geliyor ki, fiziksel anlamda aynı deney olmasına rağmen, yine de istatistiksel anlamda ayrı ve farklı sorunlara saldırıyorsunuz. Özellikle negatif vakalar her tedavi için yeniden örneklenirse.

— eşlenik

BTW, ızgara arama oldukça verimsizdir, Nelder-Mead simpleks optimizasyon algoritması, gradyan iniş optimizasyon yöntemleri gibi çok etkilidir. Izgara arama basit, ama biraz "kaba kuvvet".

— Dikran Marsupial

@Vebjorn Ljosa (bir yıl sonra), 5 değer finalde ne kadar dağılıyor (C, gama)? 12 parselin tamamı aynı mıdır, örneğin% 50 ..% 100 doğru tahmin? Teşekkürler

— denis

Hiper parametreler için en uygun değerler farklı öğrenme görevleri için farklı olacaktır, her sorun için bunları ayrı ayrı ayarlamanız gerekir.

Tek bir optimum almamanızın nedeni, hem çekirdek parametresi hem de normalleştirme parametresi, modelin karmaşıklığını kontrol etmektir. C küçükse, pürüzsüz bir model alırsınız, aynı şekilde çekirdek genişse, pürüzsüz bir model alırsınız (temel işlevler çok yerel olmadığından). Bu, farklı C ve çekirdek genişliği kombinasyonlarının benzer performansa sahip, benzer performansa sahip olduğu anlamına gelir (bu nedenle sahip olduğunuz birçok arazide köşegen özellik elde edersiniz).

Optimum ayrıca eğitim setinin özel örneklemesine de bağlıdır. Çapraz doğrulama hatasını fazla uydurmak mümkündür, bu nedenle çapraz doğrulama ile hiper parametreleri seçmek, şanssızsanız performansı daha da kötüleştirebilir. Bunun tartışılması için Cawley ve Talbot'a bakınız .

Benzer şekilde iyi değerler elde ettiğiniz hiper parametreler için geniş bir değer platosu olması, aslında vektör seçiminin iyi bir özelliğidir, çünkü model seçimine aşırı uyuma karşı aşırı savunmasız olmadıklarını göstermektedir. En uygun değerlerde keskin bir zirveye sahip olsaydınız, kötü bir şey olurdu çünkü zirvenin, o zirvenin gerçekte nerede bulunduğuna dair güvenilir olmayan bir gösterge sağlayacak sınırlı bir veri kümesi kullanarak bulmak zor olurdu.

— Dikran Keseli
kaynak

BTW Izgara aramayı kullanarak model seçimine aşırı uydurma üzerine bir çalışma yapıyorum, bu da düşündüğümden çok daha ilginç oldu. Birkaç hiper parametreyle bile, bir ızgarayı çok iyi ayarladığınız şekilde optimize ederseniz, model seçim kriterini yine de sığdırabilirsiniz!

— Dikran Marsupial

Simülasyon çalışmasının sonuna doğru gidiyorum, umarım bir ya da iki ay içinde makaleyi gönderebilirim ...

— Dikran Marsupial

Eğer bittiğinde bu makaleyi okumak isterdim? Burada tartıştığınız şeye benzeyen ızgara arama optimizasyonlarında bazı garip ani artışlarla karşılaştım.

— BGreene

Tüm simülasyon çalışmaları şimdi tamamlandı, şu anda kağıdı bir araya getiriyorum (çoğunlukla sadece tamamen tekrarlanabilir olmasını sağlamak). Tüm ızgaraları kurtardım, bu yüzden o zaman aklıma gelmediğim diğer soruları araştırmak için bazı yeniden analizler mümkün olmalı.

— Dikran Marsupial