VC boyutu nasıl hesaplanır?

Makine öğrenimi okuyorum ve VC boyutunu nasıl hesaplayacağımı bilmek istiyorum.

Örneğin:

$h(x)=\begin{cases} 1 &\mbox{if } a\leq x \leq b \\ 0 & \mbox{else } \end{cases}$ ( a , b ) ∈ R ' 2 , parametreleriyle .$(a,b) ∈ R^2$

Bunun VC boyutu nedir?

VC boyutu, bir ikili sınıflandırıcının kapasitesi için bir tahmindir. Eğer bir dizi bulabilirseniz böylece sınıflandırıcı tarafından paramparça olabilir ki (yani sınıflandırmak, puan tüm olası 2 n doğru labelings) ile edemez bulmak herhangi kümesini n + 1 herhangi kümesi için yani (paramparça edilebilir noktaları n + 1 puan, sınıflandırıcının tüm noktaları doğru şekilde ayıramaması için en az bir etiketleme sırası vardır), o zaman VC boyutu n'dir .$n$$2^n$$n+1$$n+1$$n$

Senin durumunda ilk iki noktayı dikkate ve x 2 , öyle ki x 1 < x 2 . Sonra 2 2 = 4 olası etiket var$x_1$$x_2$$x_1 < x_2$$2^2=4$

1. , x 2 : $x_1:1$$x_2:1$
2. , x 2 : $x_1:0$$x_2:0$
3. , x 2 : $x_1:1$$x_2:0$
4. , x 2 : $x_1:0$$x_2:1$

Tüm etiketlemeler, sınıflandırıcı aracılığıyla a < b ∈ R parametreleri ayarlanarak elde edilebilir .$h$$a<b \in R$

1. $a<x_1<x_2<b$
2. $x_1<x_2<a<b$
3. $a<x_1<b<x_2$
4. $x_1<a<x_2<b$

sırasıyla. (Aslında, wlog olarak kabul edilebilir, ancak paramparça olabilen bir set bulmak yeterlidir.)$x_1 < x_2$

Şimdi, üç rastgele (!) Noktasını , x 2 , x 3 ve wlog'un x 1 < x 2 < x 3 olduğunu varsayalım , o zaman etiketlemeye ulaşamazsınız (1,0,1). Yukarıdaki 3. durumda olduğu gibi, x 1 : 1 ve x 2 : 0 etiketleri bir < x 1 < b < x 2 anlamına gelir . Bu, x 3 > b'yi ve dolayısıyla x 3 etiketini ima eder$x_1$$x_2$$x_3$$x_1<x_2<x_3$$x_1$$x_2$$a<x_1<b<x_2$$x_3$$x_3$ Bu nedenle, sınıflandırıcı herhangi bir üç nokta kümesini parçalayamaz ve bu nedenle VC boyutu 2'dir.

-

Belki daha kullanışlı bir sınıflandırıcı ile daha net hale gelir. Hiper düzlemleri düşünelim (yani 2B'deki çizgiler).

Nasıl etiketlenmiş olursa olsun doğru sınıflandırılabilecek üç noktadan oluşan bir set bulmak kolaydır:

Tüm olası etiketlemeler için, bunları mükemmel şekilde ayıran bir hiper düzlem bulabiliriz.$2^3=8$

Bununla birlikte, olası etiketi doğru şekilde sınıflandırabilmemiz için 4 nokta kümesi bulamıyoruz . Resmi bir kanıt yerine, görsel bir argüman sunmaya çalışıyorum:$2^4=16$

Şimdilik, 4 noktanın 4 tarafı olan bir şekil oluşturduğunu varsayın. Daha sonra, karşıt köşeleri aynı etiketle etiketlersek noktaları doğru ayırabilen bir köprü bulmak imkansızdır:

Eğer 4 tarafı olan bir şekil oluşturmazlarsa, iki "sınır durumu" vardır: "Dış" noktalar ya bir üçgen oluşturmalı ya da hepsi düz bir çizgi oluşturmalıdır. Üçgen durumunda, "iç" noktanın (veya iki köşe arasındaki noktanın) diğerlerinden farklı olarak etiketlendiği etiketlemeye ulaşılamadığını görmek kolaydır:

Çizgi segmenti için aynı fikir geçerlidir. Bitiş noktaları diğer noktalardan farklı olarak etiketlenmişse, bir hiper düzlemle ayrılamazlar.

4 noktadaki tüm olası oluşumları 2D olarak kapsadığımız için, parçalanabilecek 4 nokta olmadığı sonucuna varabiliriz. Bu nedenle, VC boyutu 3 olmalıdır.

Bir sınıflandırıcının VC boyutu aşağıdaki şekilde belirlenir:

VC = 1
found = False
while True:
    for point_distribution in all possible point distributions of VC+1 points:
        allcorrect = True
        for classdist in every way the classes could be assigned to the classes:
            adjust classifier
            if classifier can't classify everything correct:
                allcorrect = False
                break
        if allcorrect:
            VC += 1
            continue
    break

Dolayısıyla, bu nokta yerleşimi arasındaki tüm sınıf dağılımlarının doğru şekilde sınıflandırılabilmesi için üç noktayı yerleştirmenin tek bir yolu olmalıdır.

Üç noktayı bir çizginin üzerine yerleştirmezseniz, algılama doğru olur. Ancak, algıyı nasıl yerleştirdiğinize bakılmaksızın, algının 4 puanlık tüm olası sınıf dağılımlarını sınıflandırmasını sağlamanın bir yolu yoktur.

Örneğiniz

$\mathbb{R}$

VC-Boyut 2: Dört durumu da doğru şekilde sınıflandırabilir.

1. Puan: 0 ve 42
2. dağılımları:
   • $a = 1337, b=3141$
   • $a = 40, b = 1337$
   • $a = -1, b = 1$
   • $a = -1, b = 1337$

VC-Boyut 3: Hayır, bu işe yaramıyor. Sınıfları trueve falseemredildiğini düşünün True False True. Sınıflandırıcınız bununla başa çıkamaz. Bu nedenle VC-Boyutu 2'dir.

Kanıt

$x_1, x_2, x_3 \in \mathbb{R}$$x_1 < x_2 < x_3$

$x_1$$x_2$$x_3$

$x_1$

$$a \leq x_1 \leq b$$ $x_2$ $$x_2 < a \qquad\text{ or }\qquad b < x_2$$ $a \leq x_1$$x_1 < x_2$$b < x_2$ $$a \leq x_1 \leq b < x_2 < x_3$$ $x_3$ $$a \leq x_3 \leq b$$ $b < x_3$. Bu nedenle, herhangi bir 3 noktanın tüm sınıf dağılımlarını bu sınıflandırıcı ile doğru bir şekilde sınıflandırmak mümkün değildir. Bu nedenle VC boyut 3'e sahip değildir.