İstatistiksel öğrenme teorisinde, bir test setine aşırı uyum sağlama sorunu yok mu?

MNIST veri kümesini sınıflandırmayla ilgili sorunu ele alalım.

Göre Yann LeCun en MNIST bir Web 'Ciresan ve diğ.' Evrimsel Sinir Ağı kullanılarak MNIST test setinde% 0.23 hata oranı elde edildi.

olarak ayarlanmış MNIST eğitimini $D_{train}$ , olarak ayarlanmış MNIST testini $D_{test}$ , $D_{train}$ olarak kullanarak elde ettikleri son hipotezi ve h_ kullanarak MNIST Test setindeki hata oranını gösterelim. , . $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

Bunların bakış açısı içinde, bu yana rastgele bağımsız olarak giriş boşluğundan test seti örneklenir , gittikleri son hipotez bu dışı örnek hata performansını ısrar edilebilir olduğu Hoeffding Eşitsizliği burada. $D_{test}$ $h_{1}$ $E_{out}(h_{1})$

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

Başka bir deyişle, en azından olasılık , $1-\delta$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

Başka bir bakış açısı düşünelim. Bazı kişilerin MNIST test setini iyi sınıflandırmak istediğini varsayalım. Bu yüzden önce Yann LeCun'un MNIST Web Sayfasına baktı ve 8 farklı model kullanan başkaları tarafından elde edilen aşağıdaki sonuçları buldu,

MNIST sınıflandırma sonuçları

8 model arasından MNIST test setinde en iyi performansı gösteren modelini seçti . $g$

Onun için, öğrenme işlemi hipotez çekme test seti ile en iyi performansı bir hipotez kümesinden . $g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

Bu nedenle, test seti 'deki hata bu öğrenme süreci için' örnek içi 'hatasıdır, bu nedenle sonlu hipotez setleri için bağlı VC'yi aşağıdaki eşitsizlik gibi uygulayabilir. $E_{test}(g)$

P [| E_{o u t} (g) - E_{i n} (g) | < ϵ] \geq 1 - 2 | H_{t r a i n e d} | e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

$1-\delta$

E_{o u t} (g) \leq E_{t e s t} (g) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

Bu sonuç, modeli birkaç model arasında en iyi performansı seçersek, test setinde aşırı uyum olabileceğini gösterir.

$h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

Howerver, bu iki eşitsizliğin uyumsuz olduğu açıktır.

Nerede yanlış yapıyorum? Hangisi doğru, hangisi yanlış?

İkincisi yanlışsa, bu durumda sonlu hipotez kümeleri için VC'ye bağlı uygulamanın doğru yolu nedir?

— asqdf
kaynak

$g=h_1$ $g$ $h_1$

$g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

$g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ could take any value in $H_{trained}$ . On the other hand $h_1$ is just one value in $H_{trained}$ .

For the other question:

If the latter is wrong, what is the right way to apply the VC bound for finite hypothesis sets in this case?

Just don't replace $g$ by $h_1$ , you will get the correct bound (for $g$ , of course) and it will have no conflict with the other bound (which is for $h_1$ ).

— Tĩnh Trần
kaynak