Çapraz doğrulama kullanılırken bir standart hata kuralı için ampirik gerekçe

Tek bir standart hata kuralının para cezası lehine kullanılmasını haklı çıkaran ampirik çalışmalar var mı? Açıkçası, verilerin veri oluşturma sürecine bağlıdır, ancak büyük bir veri kümesini analiz eden herhangi bir şey çok ilginç bir okuma olacaktır.

Modeller çapraz onaylama yoluyla (veya daha genel olarak herhangi bir randomizasyon temelli prosedür aracılığıyla) seçildiğinde "bir standart hata kuralı" uygulanır.

modellerini karmaşıklık parametresiyle indekslenmiş olarak kabul ettiğimizi farz edelim , öyle ki tam olarak olduğunda dan" daha karmaşık "olur . Ayrıca, modelinin kalitesini bazı çaprazlama süreçleriyle, örneğin çapraz doğrulama yoluyla değerlendirdiğimizi varsayın . nin "ortalama" kalitesini , örneğin birçok çapraz doğrulama çalışmasında ortalama torba dışı tahmin hatasını göstermesini sağlayın . Bu miktarı en aza indirmek istiyoruz . τ ∈ R M τ M τ ' τ > τ ' M q ( M ) $M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

Bununla birlikte, kalite ölçütümüz bazı randomizasyon prosedürlerinden geldiğinden değişkenlikle gelir. Let kalitesinin standart hata ifade randomizasyon çalışır arasında, örneğin, bir dışı torba tahmini hatanın standart sapma çapraz doğrulama ishal üzerinden.M $s(M)$$M$$M$

Sonra modeli seçmek nerede, küçüğüdür böyle τ $M_\tau$$\tau$$\tau$

burada en iyi model, (ortalama) endeksler . q ( M τ ' ) = dakika τ q ( M τ$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

Diğer bir deyişle, randomizasyon prosedüründe en iyi modelinden daha kötü bir standart hatadan daha basit olmayan en basit modeli (en küçük ) seçiyoruz .M τ $\tau$$M_{\tau'}$

Bu "bir standart hata kuralı" nı, aşağıdaki yerlerde belirtilen, ancak hiçbir zaman kesin bir gerekçeyle belirtmedim:

• Breiman, Friedman, Stone & Olshen'den Sınıflandırma ve Regresyon Ağaçlarında Sayfa 80 (1984)
• Sayfa 415, Tibshirani, Walther ve Hastie Tarafından Aralık İstatistikleri Üzerinden Bir Veri Kümesinde Kümelerin Sayısının Tahmini ( JRSS B , 2001) (bkz. Breiman ve diğerleri).
• Hastie, Tibshirani ve Friedman'dan İstatistik Öğrenmenin Elemanları Sayfa 61 ve 244 (2009)
• Sayfa 13 Hastie, Tibshirani ve Wainwright tarafından Sparsity ile İstatistiksel Öğrenme (2015)

Aşağıdaki ampirik bir çalışma değildir , bu yüzden aslında bir yorum olarak göndermek istedim, bir cevap değil - ama gerçekten bir yorum için çok uzun olduğu ortaya çıktı.

Cawley ve Talbot ( Makine Öğrenimi Araştırması J , 2010) , model seçimi aşamasında fazladan takma ve model montajında ​​fazladan takma arasındaki farka dikkat çekmektedir.

İkinci tip fazladan takma, çoğu insanın aşina olduğu şeydir : belirli bir model göz önüne alındığında , onu fazladan almak istemeyiz, yani tipik olarak sahip olduğumuz tek veri setinin belirli tanımlarına çok yakından uydurmak istemeyiz. ( Bu, büzülme / düzenlileşmenin, varyanstaki büyük düşüşe karşı önyargıdaki küçük bir artışla işlem yapmasıyla yardımcı olabileceği yerdir. )

Ancak, Cawley ve Talbot, model seçim aşamasında da tam olarak kullanabileceğimizi savunuyor. Sonuçta, yine de tipik olarak sadece tek bir veri setimiz var ve farklı karmaşıklıktaki farklı modeller arasında karar veriyoruz. Bir aday modelini seçmek için her aday modelin değerlendirilmesi, genellikle bu modelin uygun hale getirilmesi veya yapılmaması ile yapılabilmesidir. Ancak bu değerlendirme kendi içinde tekrar rastgele bir değişkendir, çünkü sahip olduğumuz belirli veri setine bağlıdır. Bu nedenle “optimal” bir model seçimimiz kendi içinde bir önyargı sergileyebilir ve popülasyondan alabileceğimiz tüm veri kümelerindeki spesifik veri kümesine bağlı olarak bir farklılık gösterecektir .

Bu nedenle Cawley ve Talbot, bu değerlendirmede en iyi performansı gösteren modeli seçmenin küçük yanlılığa sahip bir seçim kuralı olabileceğini, ancak büyük farklılıklar gösterebileceğini savunuyor. Yani, aynı veri üretme sürecinden (DGP) farklı eğitim veri setleri göz önüne alındığında, bu kural daha sonra aynı DGP'yi takip eden yeni veri kümelerinin öngörülmesi için kullanılacak ve kullanılacak çok farklı modeller seçebilir. Bu ışıkta, model seçim prosedürünün varyansını sınırlamak, ancak daha basit modellere doğru küçük bir önyargıya maruz kalmak, örneklemeden daha küçük hatalara neden olabilir.

Cawley ve Talbot bunu açıkça tek bir standart hata kuralına bağlamamaktadır ve “modelleme modelini düzenleme” ile ilgili bölümleri çok kısadır. Bununla birlikte, tek bir standart hata kuralı tam olarak bu düzenlileştirmeyi gerçekleştirir ve model seçimindeki varyans ile çanta dışı çapraz doğrulama hatasının varyansı arasındaki ilişkiyi dikkate alır.

Örneğin, aşağıda, Hastie, Tibshirani ve Wainwright (2015) tarafından Sparsity ile İstatistiki Öğrenmenin Şekil 2.3 olduğu görülmektedir . Model seçiminde varyans, siyah çizginin taşınması en düşük düzeyde verilir. Burada, minimum çok belirgin değildir ve çizgi oldukça zayıf dışbükeydir, bu nedenle model seçimi muhtemelen yüksek bir değişkenlikle belirsizdir. Ve OOB CV hata tahmininin varyansı elbette standart hataları gösteren çoklu açık mavi çizgilerle verilmiştir.

Ampirik bir gerekçelendirmek için, Tibshirani veri madenciliği ders notlarında sayfa 12'ye bakın, bu da CV hatalarını belirli bir modelleme problemi için lambda'nın bir işlevi olarak gösterir. Öneri, belli bir değerin altında, tüm lambadaların yaklaşık olarak aynı CV hatası verdiğini gösteriyor. Bu anlamlıdır, çünkü sırt regresyonundan farklı olarak, LASSO tipik olarak tahmin doğruluğunu arttırmak için yalnızca veya hatta birincil olarak kullanılmaz. Ana satış noktası, en az ilgili / değerli öngörücüleri ortadan kaldırarak modelleri daha basit ve daha yorumlanabilir hale getirmesidir.

$\lambda$$L_1$

$\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

Bu, Bühlmann ve van de Geer tarafından yüksek boyutlu veriler için İstatistikler'de rapor edilmelidir .

$\lambda$