Grafik çekirdeği SVM hiperparametrelerini ayarlamak için hangi yöntemler vardır?


10

Bir grafik üzerinde var bazı veriler var. Köşe iki sınıftan birine ait y ı{ - 1 , 1 } ve ben iki sınıf arasında ayrım bir SVM eğitim ilgilenen ediyorum. Bunun için bir uygun çekirdektirdifüzyon çekirdek, K = exp ( - β L ) , L olanLaplaceait G ve β bir ayarlama parametredir.G=(V,E)yi{1,1}K=exp(βL),LGβ

SVM'yi ayarlamak hiperparametrelerin seçimini gerektirir, bu yüzden ayarlamam gerekir . Geleneksel olarak, bu sorun için çapraz doğrulama kullanmak, ama bu bir köşesinin atlayarak beri, burada uygun görünmüyor i dan G tüm grafik değiştirir hatta bağlı bileşenlerin sayısını artırarak,! Bağlı bileşenlerin sayısı değişirse, bazı köşelere diğerlerinden erişilemez hale gelir ve başladığımızdan çok farklı bir veri kümesiyle karşı karşıya kalırız. Yani, sadece biz kaldırılan köşe eksik olduğunu ben , ama biz de tüm diğer noktalar hakkında bilgi kaçırıyoruz jθ=(β,C).iGij bu tepe noktasına bitişik olan grafikte.

Çapraz geçerliliğin temel fikri, modelin yeni verilerle sunulduğunda nasıl performans göstereceğini yaklaşık olarak tahmin etmemizdir. Standart problemlerde, verilerinizin bazılarının test için atlanması, kalan egzersiz verilerinin değerlerini değiştirmez. Bununla birlikte, grafik verileri söz konusu olduğunda, modelin CV ayarında "yeni" verileri görmesinin ne anlama geldiği açık değildir. Köşeleri veya kenarları atlamak, verileri tamamen değiştirme potansiyeline sahiptir. Örneğin, bir grafiktir hayal olan bir k -yıldızlı grafiktir, tek bir tepe sahip olduğu k kenarları kS=(VS,ES)kkkve diğer tüm köşelerin 1 kenarı vardır. Eğitim verisinin oluşturulması için merkezi tepe noktasını atlamak, grafiğin tamamen bağlantısını kesecek ve çekirdek matrisi köşegen olacaktır! Ancak elbette, S ∗'da sağlanan bu eğitim verileri hakkında bir model eğitmek mümkün olacaktır . Daha az açık olan, sonuçta ortaya çıkan modelin örnek dışı performansını test etmenin ne anlama geldiği. S için çekirdek matrisi yeniden hesaplanıyor ve tahminlerde bulunuluyor mu?SSS

Veya alternatif olarak, çekirdek matrisini bütünüyle hesaplayarak başlar ve SVM'yi tahmin etmek için kullanılan çekirdek matrisini üretmek için gereken satır ve sütunları atlar mı? Bu, kendi kavramsal problemlerini sunar, çünkü merkezi düğümün S'ye dahil edilmesi, her tepe noktasına diğer tepe noktalarından erişilebileceği ve çekirdek matrisinin yoğun olduğu anlamına gelir. Bu içerme, kıvrımlar arasında bilgi sızıntısı olduğu ve çapraz onaylama çıktısının taraflı olduğu anlamına mı gelecek? Bir yandan, atlanan merkezi düğüm grafiği bağlı kıldığından, atlanan merkezi düğümlerle ilgili veriler hala mevcuttur. Öte yandan, y etiketleri hakkında hiçbir şey bilmiyoruzSS y bu nedenle CV'yi bu şekilde gerçekleştirmekten makul derecede tarafsız numune dışı tahminler elde ettiğimizden rahat olabiliriz.

Bu tip problemler için hiperparametreler nasıl seçilir? CV kusurlu ama kabul edilebilir mi yoksa özel yöntemlere mi ihtiyacımız var? Bağlamımda hiperparametre ayarlaması mümkün müdür?


Spektral yöntemler için örnek dışı genişleme olup olmadığına bakın. Tezimde görüntü sınıflandırma tekniklerinden bazılarını uyguladım (şimdi geriye dönüp baktığımda bunu farklı şekilde yapardım). Sonuçlar ilginçti ancak modellerin kendisi oldukça kırılgandı ve ayarlanması kolay değildi.
Vladislavs Dovgalecs

@xeon Bu literatüre nereden başlayacağınıza dair herhangi bir öneriniz var mı?
Sycorax, Reinstate Monica'ya

Yanıtlar:


3

Feragatname: Grafik çekirdeklerine pek aşina değilim, bu yüzden bu cevap yanlış varsayımlara dayanıyor olabilir. Çekirdek matrisini hesaplarken köşeleri atlamanın yetersiz olduğunu kabul ediyorum. Bununla birlikte, çapraz doğrulamanın mutlaka sorunlu olduğundan emin değilim. Öğrenme bağlamı aktarımı mı yoksa tümevarım mı?

β

βCβC


Marc, ilginiz için teşekkürler. Benim sorunum endüktif. İçgüdüm doğru olduğunuzu ve tüm veriler için tam çekirdek matrisini hesapladığımız ve daha sonra CV'd çekirdeğini üretmek için gereken satırları ve sütunları atladığımızdır. Bu etkiye ilişkin herhangi bir referanstan haberdar olabilir misiniz?
Sycorax, Reinstate Monica'ya

Hemen değil, ama sorabileceğim benzer sorunlar (çekirdek spektral kümeleme) üzerinde çalışan bazı meslektaşlarım var. Belki referansları ve / veya daha iyi fikirleri vardır. Daha fazlasını bildiğimde güncellenecek.
Marc Claesen
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.