TL, DR: O görünür aksine tavsiye sık sık tekrarlanan, çapraz doğrulama (Loo-CV) terk-on Çıkış - olup,ile kat CV(kat sayısı) eşit(numara Eğitim gözlemlerinin) -Model / algoritma, veri seti veya her ikisinde debelirli bir stabilite koşuluvarsayarsak, en değişken değil,herhangi biriçinen az değişkenolan genelleme hatasının tahminlerini verir(hangisinden emin değilim) bu kararlılık durumunu gerçekten anlamadığım için doğrudur).K N $K$$K$$N$$K$

• Birisi bu stabilite koşulunun tam olarak ne olduğunu açıkça söyleyebilir mi?
• Doğrusal regresyonun, bu bağlamda, LOO-CV'nin genelleme hatası tahminlerinin yanlılığı ve sapmasıyla ilgili olarak kesinlikle en iyi CV seçimi olduğu anlamına gelen doğru bir algoritma olduğu doğru mu?

Geleneksel bilgelik seçimi olmasıdır içinde K kat CV bir önyargı-varyans dengeyi izler, böyle düşük değerler K (2 yaklaşan) daha kötümser önyargı var genelleme hatasının tahminlerine kurşun, ancak daha düşük varyans, yüksek değerler ise ve K (yaklaşan N az eğilir fakat daha büyük bir varyans ile olan tahminlerine öne). K ile artan bu varyans fenomeni için konvansiyonel açıklama , belki de en belirgin şekilde İstatistiksel Öğrenme Öğelerinde (Bölüm 7.10.1) verilmiştir:$K$$K$$K$$K$$N$$K$

K = N ile çapraz doğrulama tahmincisi, doğru (beklenen) tahmin hatası için yaklaşık olarak tarafsızdır, ancak N "eğitim setleri" birbirine çok benzer olduğu için yüksek değişkenliğe sahip olabilir.

Sonuç olarak, doğrulama hatalarının daha fazla korelasyon göstermesi, böylece toplamlarının daha değişken olması anlamına gelir. Bu akıl yürütme çizgisi bu sitedeki birçok cevapta tekrarlanmıştır (örneğin, burada , burada , burada , burada , burada , burada ve burada$N$ bunun yerine) yanı sıra vb çeşitli bloglarda ve Ama detaylı bir analiz neredeyse verilmiş asla Analizin neye benzediğine dair sadece bir sezgi veya kısa bir taslak.

Bununla birlikte, çelişkili ifadeler bulabilir, genellikle gerçekten anlamadığım kesin bir “istikrar” koşulu öne sürülebilir. Örneğin, bu çelişkili cevap , diğer şeylerin yanı sıra, " Düşük dengesizliği olan modeller / modelleme prosedürleri için , LOO genellikle en küçük değişkenliğe sahiptir " diyen bir kaç paragraftan alıntı yapmaktadır . Bu makale (bölüm 5.2), LOO’nun model / algoritma “kararlı” olduğu sürece en az değişken olan seçimini temsil ettiği konusunda hemfikir görünmektedir . Konuyla ilgili başka bir duruş daha alarak , “ K kat çapraz onaylamanın varyansı [...] k'ye bağlı değildir diyen bu makale (Corollary 2) de vardır.$K$$k$$k$, "yine belirli bir" kararlılık "koşulu öne sürerek.

Neden LOO'nun en değişken katlamalı CV olabileceğinin açıklaması yeterince sezgiseldir, ancak bir karşı sezgi vardır. Ortalama karesel hatanın (MSE) nihai CV tahmini, her kattaki MSE tahminlerinin ortalamasıdır. Yani K kadar artar N , CV tahmini rastgele değişken artan sayıda ortalamasıdır. Ve ortalamanın varyansının, ortalama değişkenlerin sayısı ile azaldığını biliyoruz. Yani LOO'nun en değişken K olması için . Ve bunun doğru olduğu hiç de belli değil.$K$$K$$N$$K$ CV olması için , MSE tahminleri arasında artan korelasyona bağlı olarak varyanstaki artışın, ortalama olarak daha fazla katlanmanın katlanmasından dolayı varyanstaki azalmaya ağır bastığının doğru olması gerekir.

Bütün bunları düşünerek kafam karıştı, lineer regresyon durumu için küçük bir simülasyon yapmaya karar verdim. 10,000 ile veri setleri simüle = 50 ve 3 ilintisiz prediktörleri kullanılarak genelleme hata tahmin her K ile kat CV K = 2, 5, 10 ya da 50 = N . R kodu burada. İşte 10,000 veri setinin tamamındaki CVE tahminlerinin sonuç araçları ve varyasyonları (MSE birimlerinde):$N$$K$$K$$N$

         k = 2 k = 5 k = 10 k = n = 50
mean     1.187 1.108  1.094      1.087
variance 0.094 0.058  0.053      0.051

Bu sonuçlar, daha yüksek değerlerinin daha az karamsar bir önyargıya yol açtığını, ancak LOO durumunda CV tahminlerinin varyansının en düşük değil, en düşük olduğunu doğruladığı görülüyor.$K$

Bu nedenle, doğrusal regresyonun, CV tahminlerinde artan varyans yerine, artan ile azalmanın birleştiği , yukarıdaki makalelerde belirtilen "kararlı" durumlardan biri olduğu görülmektedir . Ama hala anlamadığım şey:$K$

• Bu "kararlılık" koşulu tam olarak nedir? Modeller / algoritmalar, veri setleri veya bir dereceye kadar geçerli midir?
• Bu istikrar hakkında düşünmenin sezgisel bir yolu var mı?
• Kararlı ve dengesiz modellerin / algoritmaların veya veri setlerinin diğer örnekleri nelerdir?
• Çoğu model / algoritma veya veri setinin "kararlı" olduğunu ve bu nedenle hesaplamada mümkün olduğu kadar yüksek seçilmesi gerektiğini varsaymak güvenli midir?$K$

Bu cevap üzerine takip cevabım içinde izinli birini dışarıda vs içinde Bias ve Varyans K kat çapraz doğrulama geçen neden LOOCV o zaman gelmez yüksek varyans yol açar. Benzer bir yaklaşımı takiben, LOOCV'nin aykırı değerler ve "dengesiz bir model" varlığında daha fazla varyansa neden olduğu bir durumu vurgulamaya çalışacağım .

Algoritmik kararlılık (öğrenme teorisi)

Algoritmik stabilite konusu yeni bir sorundur ve son 20 yılda birçok klasik, etkili sonuç kanıtlanmıştır. İşte sıkça alıntı yapılan birkaç makale

• Model seçiminde kararsızlık ve dengelemenin buluşsal özellikleri (1996): Leo Breiman
• LOOCV için Algoritmik stabilite ve akıl sağlığı kontrol sınırları (1997): Kearns, Ron
• İstikrar ve Genelleme (2002): Bousquet, Elisseef
• Çapraz Doğrulama ve Ortalama Kare Kararlılığı (2011) Kale, Kumar, Vassilvitskii
• Hemen hemen her yerde algoritmik kararlılık ve genelleme hatası (2012): Kutin, Niyogi
• Konuyla ilgili bazı notlar: Arizona Üniversitesi

Bir anlayış kazanmak için en iyi sayfa kesinlikle muhtemelen çok bilgili bir kullanıcı tarafından yazılmış mükemmel bir özetini sağlayan wikipedia sayfasıdır .

Sezgisel kararlılık tanımı

Sezgisel olarak, kararlı bir algoritma, antrenman verileri hafifçe değiştirildiği zaman tahminin fazla değişmediği bir algoritmadır.

Resmen, teknik şartlar ve hiyerarşilerle birbirine bağlanmış yarım düzine stabilite versiyonu var , örneğin bu grafiğe bakınız :

Ancak amaç basittir, algoritma kararlılık kriterini yerine getirdiğinde, belirli bir öğrenme algoritmasının genelleme hatası konusunda sıkı sınırlar almak istiyoruz. Bekleneceği gibi, kararlılık kriteri ne kadar kısıtlayıcı olursa, o kadar sıkı olacaktır.

Gösterim

Aşağıdaki nota, Bousquet ve Elisseef kağıdını kopyalayan wikipedia makalesinden alınmıştır:

• Eğitim seti bilinmeyen bir dağılımdan kimliği çizilir$S = \{ z_1 = (x_1,y_1), ..., z_m = (x_m, y_m)\}$
• Kayıp fonksiyonu bir hipotez f bir örnek ile ilgili olarak , z olarak tanımlanır V ( f , z $V$$f$$z$$V(f,z)$
• -th öğesini kaldırarak eğitim setini değiştiriyoruz : S | i = { z 1 , . . . , Z i - 1 , Z i + 1 , . . . , Z m$i$$S^{|i} = \{ z_1,...,z_{i-1}, z_{i+1},...,z_m\}$
• Ya da değiştirilmesi ile -inci eleman: S i = { z 1 , . . . , z i - 1 , $i$$S^{i} = \{ z_1,...,z_{i-1}, z_i^{'}, z_{i+1},...,z_m\}$

Resmi tanımlar

Belki de ilginç bir öğrenme algoritmasının uyması beklenen en yüksek istikrar kavramı, tek biçimli istikrardır :

Düzgün stabilite bir algoritma homojen stabiliteye sahip kayıp fonksiyonu wth saygı V şu tutar ise:$\beta$$V$

Bir fonksiyonu olarak kabul terimi β şekilde yazılabilir β m . Algoritmanın β m 1 gibi düştüğünde kararlı olduğunu söylüyoruz.$m$$\beta$$\beta_m$$\beta_m$ . Hafifçe daha zayıf bir stabilite şekli:$\frac{1}{m}$

Hipotez kararlılığı

Bir nokta kaldırılırsa, öğrenme algoritmasının sonucundaki fark, kayıpların ortalama mutlak farkı ( normu) ile ölçülür . Sezgisel: Örnekteki küçük değişiklikler, algoritmanın sadece yakındaki hipotezlere taşınmasına neden olabilir.$L_1$

Bu stabilite formlarının avantajı, kararlı algoritmaların yanlılığı ve varyansı için sınırlar sağlamalarıdır. Özellikle, Bousquet bu sınırları 2002 yılında Tekdüzen ve Hipotez istikrarı için kanıtladı. O zamandan beri, istikrar koşullarını gevşetmek ve sınırları genelleştirmek için çok çaba yapıldı, örneğin 2011'de, Kale, Kumar, Vassilvitskii, kare istikrar demek olduğunu savunuyor daha iyi varyans kantitatif varyans azaltma sınırları sağlar.

Bazı kararlı algoritma örnekleri

Aşağıdaki algoritmaların kararlı olduğu ve genelleme sınırlarının kanıtlandığı gösterilmiştir:

• Düzenli en küçük kare regresyon (önceden uygun)
• 0-1 kayıp işlevli KNN sınıflandırıcı
• Sınırlı bir çekirdek ve büyük düzenlileştirme sabiti ile SVM
• Yumuşak marj SVM
• Sınıflandırma için minimum bağıl entropi algoritması
• Torbalama düzenleyicilerin bir versiyonu

Deneysel bir simülasyon

Deneyi önceki iş parçacığından tekrarlayarak ( buraya bakın ), şimdi veri kümesinde belirli bir aykırı değer ortaya koyuyoruz. Özellikle:

• $[-.5,.5]$
• ile verilerin% 3'ü$[-20,20]$

$3$

Simülasyonun daha önce yapıldığı şekilde yapılması ve elde edilen ortalama MSE'nin ve MSE'nin varyansının çizilmesi, Bengio ve Grandvalet 2004 çalışmasının 2. Denemesine çok benzer sonuçlar vermektedir .

Sol Taraf : Aykırı değil. Sağ Taraf :% 3 aykırı değerler.

(son rakamın açıklaması için bağlantılı kağıda bakınız)

açıklamalar

Aktaran Yves Grandvalet cevabını diğer iş parçacığı üzerinde:

Sezgisel olarak, [kararsız algoritmalar durumunda], dışarıda bırakılan bir CV, var olan dengesizliklere karşı kör olabilir, ancak eğitim verilerindeki tek bir noktanın değiştirilmesiyle tetiklenmeyebilir; Eğitim Seti.

Uygulamada LOOCV'ye bağlı olarak varyans artışını simüle etmek oldukça zordur. Belirli bir kararsızlık kombinasyonu, bazı aykırı değerler, ancak çok fazla değil ve çok sayıda yineleme gerektirir. Belki de bu beklenen bir durumdur çünkü lineer regresyonun oldukça kararlı olduğu gösterilmiştir. İlginç bir deney, bunu daha yüksek boyutlu veriler ve daha dengesiz bir algoritma (örneğin karar ağacı) için tekrarlamak olacaktır.

Cevabımı, bahsettiğiniz paragraf bağlamında vereceğim:

K = N ile çapraz doğrulama tahmincisi, doğru (beklenen) tahmin hatası için yaklaşık olarak tarafsızdır, ancak N "eğitim setleri" birbirine çok benzer olduğu için yüksek değişkenliğe sahip olabilir.

Doğru (beklenen) tahmin hatasının CV tahmincisi bir eğitim seti örneğine dayanmaktadır, bu yüzden beklentim, bunu doğru anladığımda eğitim seti örneklerinin üzerindedir.

Öyleyse, "yüksek varyans" ile ilgili bu paragrafın söylediği şey, beklenen hata ile CV tarafından tahmin edilen hata arasında (burada, katlanmaya göre ortalama) hesaplanan "yüksek" bir fark olduğu.

Bu, modelin belirli bir eğitim setine uygun olması ve tüm eğitim kıvrımlarının bir-bir-dışarı-bırakma içinde çok benzer olması nedeniyle anlamlıdır. Bununla birlikte, eğitim katları CV turu içinde çok benzer olsa da, CV için eğitim numuneleri takas edersek, tahmin muhtemelen büyük ölçüde farklılık gösterir. K-katlama CV'de eğitim katlarını "çeşitlendirdiğimiz" için, ortalama etkilerimiz var ve k-katları arasında tahminler daha az değişiyor.

Başka bir deyişle, bir kez dışarıda bırakılan CV tahmincisi temelde neredeyse bir holdout yöntemi gibidir, katları döndürmez ve hata tahmininizi tek bir doğrulama kümesine dayandırırsınız. Yine, eğitim örneklerine göre, k-katlama tahminlerine kıyasla daha yüksek bir varyans olacak, burada k-katlama turu içerisinde bir miktar farklı modelleri eğiterek katlamalara göre ortalamalısınız (başka bir deyişle, eğitim setlerini değiştirirseniz, k-katlamadaki hata muhtemelen bu kadar değişmez).

DÜZENLE:

Burada çapraz onaylanmış ve genel olarak internet ile ilgili bazı cevaplar okuduğumda, hangi tahmin ediciye yöneldiğimize dair bir karışıklık olduğunu düşünüyorum. Bence bazı insanlar k-katlamalı CV tahmin edicinin yüksek varyansına karşı yüksek değişkenlik gösteren (baskın bir değişkenlik bileşenine sahip ML için konuşma ile) olan bir modelden bahsediyorlar). Ve bir başka cevap seti, birisinin "k-katlama yüksek varyansı" derken katlamalara ilişkin örneklem farkı olarak varyansı ifade eder. Bu yüzden spesifik olmayı öneririm, çünkü cevaplar her iki durumda da farklı.

Bunu daha önce de yaşadık - ölü bir at için çok matematiksel hale geliyorsun. Ron Kohavi özgeçmişi üzerinde (Stanford-Univ) klasik kağıt ve önyargı-varyans ikilem bakınız burada . Bunu okumayı bitirdiğinizde, LOOCV gerçekleştirmek istemeyeceksiniz ve muhtemelen 10 kat CV ve / veya önyükleme önyargılı CV'ye çekileceksiniz.

Ayrıca, LOOCV'nin çok hesaplamalı olarak pahalı olduğu büyük veri kümeleri hakkında düşünmeniz gerekir. Şu anda, LOOCV çoğu grubun iş akışlarında / boru hatlarında gerçekten bir seçenek değildir.

Bu "kararlılık" koşulu tam olarak nedir? Modeller / algoritmalar, veri setleri veya bir dereceye kadar geçerli midir?

$k=n$$k=n$$k=n$

Sınıflandırıcı olarak LREG, veriler doğrusal olarak ayrılabilir olduğunda işe yarar, ancak birçok veri kümesi doğrusal olarak ayrılmadığından, ortalama olarak önyargısı çok yüksek olur.

Bu istikrar hakkında düşünmenin sezgisel bir yolu var mı?

Benim görüşüme göre değil - çünkü istikrar konusunda genel bir kural yoktur.

Kararlı ve dengesiz modellerin / algoritmaların veya veri setlerinin diğer örnekleri nelerdir?

Bu açık uçlu ve çok geniştir, çünkü çok fazla sayıda yanıt alınamayabilir, bu da yardımcı olmaz.

$K$

$k$$k$

$k$$k$