Hiperparametreleri ayarlarken doğrulama verileri üzerindeki model performansını değerlendirirsem doğrulama verileriyle ilgili bilgiler neden sızdırılıyor?

François Chollet'in Python ile Derin Öğrenmesi'nde şöyle diyor:

Sonuç olarak, modelin yapılandırmasını doğrulama setindeki performansına göre ayarlamak, modeliniz hiçbir zaman doğrudan doğrudan eğitilmemiş olsa bile, doğrulama setine aşırı takılmasına neden olabilir.

Bu fenomenin merkezinde bilgi sızıntısı kavramı vardır. Modelinizin doğrulama parametresindeki performansına göre bir hiperparametreyi her ayarladığınızda, doğrulama verileri hakkında bazı bilgiler modele sızar . Bunu yalnızca bir kez yaparsanız, bir parametre için, çok az bilgi biti sızar ve doğrulama setiniz modeli değerlendirmek için güvenilir kalır. Ancak bunu birçok kez tekrarlarsanız - bir deneme yapmak, doğrulama kümesini değerlendirmek ve sonuç olarak modelinizi değiştirmek - modelde ayarlanan doğrulama hakkında giderek artan miktarda bilgi sızdırırsınız.

Hiperparametreleri ayarlarken doğrulama verileri üzerindeki model performansını değerlendirirsem doğrulama verileriyle ilgili bilgiler neden sızdırılıyor?

Hiper parametre seçimleri yapmak için doğrulama verilerini kullandığınız için bilgi sızdırılıyor. Temel olarak karmaşık bir optimizasyon sorunu oluşturuyorsunuz: hiper parametreler üzerindeki kaybı en aza indirin$\phi$ bu hiper parametrelerin parametreleri olan bir nöral ağ modelini düzenlediği validasyon verilerine göre değerlendirildiği gibi $\theta$ belirli bir eğitim seti kullanılarak eğitilmiş.

Her ne kadar parametreler $\theta$ eğitim verileri, hiper parametreler tarafından doğrudan bilgilendirilir $\phi$doğrulama verilerine göre seçilir. Dahası, çünkü hiper parametreler$\phi$ dolaylı olarak etki $\theta$, doğrulama verilerinden alınan bilgiler dolaylı olarak seçtiğiniz modeli etkiler.