VC-k-en yakın komşusunun boyutu

K kullanılan eğitim noktası sayısına eşitse k en yakın komşu algoritmasının VC-Boyutu nedir?

Bağlam: Bu soru, aldığım bir derste sorulmuştur ve verilen cevap 0'dır. Ancak, bunun neden böyle olduğunu anlamıyorum. Sezgim, VC-Boyutunun 1 olması gerektiğidir, çünkü her model ilk modele göre bir sınıfa ve başka bir sınıfa ait olarak etiketlenecek şekilde iki model (yani eğitim noktası setleri) seçilebilmelidir. ikinci modele göre, tek bir noktayı paramparça etmek mümkün olmalıdır. Akıl yürütmemdeki hata nerede?

Algoritmanın şöyle olduğunu söylüyorsunuz: k = en yakın komşu algoritması ve k = kullanılan egzersiz noktası sayısı. Bunu jms-k-en yakın komşu olarak tanımlıyorum .

VC boyutu, tren hatası 0 ile algoritma tarafından parçalanabilen en fazla eğitim noktası olduğundan , jms-k-en yakın komşusunun VC boyutu sadece k veya 0 olabilir.

1 eğitim örneği => k = 1: Eğitim sırasında jms-1'e en yakın komşu tam olarak bu örneği depolar. Tam olarak aynı eğitim setine uygulama sırasında, bir örnek depolanan eğitim örneğine en yakın olanıdır (aynı oldukları için), bu nedenle eğitim hatası 0'dır.

Kabul ediyorum, VC boyutu en az 1.

2 egzersiz örneği => k = 2: Yalnızca etiketler farklıysa bir sorun olabilir. Bu durumda soru, bir sınıf etiketi için kararın nasıl verildiğidir. Çoğunluk oyu sonuca yol açmaz (VC = 0?), Eğer mesafeye göre ters ağırlıklı çoğunluk oyu kullanırsak, VC boyutu 2'dir (farklı etiketlerle aynı eğitim örneğine iki kez izin verilmediği varsayılarak, tüm algoritmaların VC boyutu 0 (sanırım) olacaktır.

Standart k-en yakın komşu algoritması yoktur, uygulama ayrıntıları söz konusu olduğunda daha çok aynı temel fikri ancak farklı lezzetleri olan bir ailedir.

Kullanılan kaynaklar: Andrew Moore tarafından VC boyut slaytları