Önyükleme işleminde .632+ kuralı nedir?

Burada @gung, .632+ kuralına referansta bulunur. Hızlı bir Google araması, bu kuralın ne anlama geldiği ve ne amaçla kullanıldığı konusunda anlaşılması kolay bir cevap vermez. Birisi lütfen .632+ kuralını açıklar mı?

0.632 tahmincisine ulaşacağım, ancak biraz daha uzun bir gelişme olacak:

F işlevini kullanarak $Y$ ile X'i tahmin etmek istediğimizi varsayalım ; burada f , veriler kullanılarak tahmin edilen bazı parametrelere bağlı olabilir (\ mathbf {Y}, \ mathbf {X}) , örneğin, f (\ mathbf {X}) = \ mathbf {X} \ mathbf {\ p}$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Nadir bir tahmin hatası tahmini, burada bir kayıp fonksiyonu, örneğin kare hata kaybı). Buna genellikle eğitim hatası denir. Efron ve diğ. görünür hata oranı veya yeniden yerleştirme oranı olarak adlandırır. Bizim veri kullandıkları için çok iyi değil sığacak şekilde . Bu, in aşağıya doğru eğimli olmasına yol açar. modelinizin yeni değerleri öngörmede ne kadar iyi olduğunu bilmek istersiniz .

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Genellikle çapraz onaylamayı beklenen ekstra örnek tahmin hatasını tahmin etmenin basit bir yolu olarak kullanırız (modelimiz eğitim setimizde olmayan veriler üzerinde ne kadar iyi çalışıyor?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Bunu yapmanın popüler bir yolu, -katlama çapraz doğrulama yapmaktır . Verilerinizi gruplarına bölün (örneğin 10). Her grup için kalan üzerinde modelinizi sığacak grup ve test edin grubuna inci. Çapraz onaylanmış ekstra örnek tahmin yalnızca burada gözlem bölümü göstermektedir bir göstergesi fonksiyonudur tahsis edilir ve tahmin edilen değer değil kullanarak veri grubu inci.$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Bu tahmin edici, olduğunda ve büyük varyansa sahip olduğunda gerçek tahmin hatası için yaklaşık olarak tarafsızdır ve daha büyük için hesaplamalı olarak pahalıdır . Öyleyse bir kez daha oyundaki önyargı değişimini görüyoruz.$K=N$$K$

Çapraz doğrulama yerine, ekstra-örnek tahmin hatasını tahmin etmek için bootstrap'i kullanabiliriz. Bootstrap yeniden örnekleme, herhangi bir istatistiğin örnekleme dağılımını tahmin etmek için kullanılabilir. Eğer eğitim verilerimiz , o zaman bu setten örnekleri almayı düşünebiliriz (yerine) burada her bir örnek kümesidir . Şimdi, ekstra örnek tahmin hatasını tahmin etmek için önyükleme örneklerimizi kullanabiliriz: tahmin edilen değer için model uygunluğundan$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ önyükleme veri kümesi. Önyükleme örnekleri üretmek için kullanılan Ne yazık ki, bu özellikle iyi bir tahmin değildir içermiş olan . Biri dışarıda tahmincisi, çapraz doğrulama işlemini taklit ederek bir iyileştirme sunar ve burada , bootstrap örnekleri için indeks kümesidir. gözlem içermez vebu tür örneklerin sayısıdır. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$aşırı yüklenme problemini çözer, ancak hala önyargılıdır (bu bir önyargılıdır). Önyargı, değiştirme örneklemesinden kaynaklanan önyükleme örneklerinde belirgin olmayan gözlemlerden kaynaklanıyor. Her numunede farklı gözlemlerin ortalama sayısı yaklaşık (neden bir açıklama için bu cevaba bakınız gözlemlerin kabaca üçte ikisini ihtiva ortalama her önyükleme numuneyi yapar Neden? ). Eğilim problemi çözmek için, Efron ve Tibshirani 0.632 kestirimcisi önerilen: burada$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ genellikle eğitim hatası olarak adlandırılan tahmin hatasının kesin tahminidir. Buradaki düşünce, aşağı doğru eğilimli bir tahmin ve yukarı doğru eğilimli bir tahminin ortalamasıdır.

Bununla birlikte, oldukça fazla bir tahmin kestirim fonksiyonuna sahipsek (yani ), .632 tahmincisi bile aşağı doğru eğilimli olacaktır. .632+ tahmincisi, ve arasında daha az taraflı bir uzlaşma olarak tasarlanmıştır . ile burada , tahmin modelini tüm olası kombinasyonlar üzerinde değerlendirerek tahmin edilen hata oranıdır. ve belirleyicisini hedefler .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Burada , göreceli fazla takma oranını ölçer. Eğer fazla yoksa (R = 0, ) olduğunda bu .632 tahmincisine eşittir.$R$$Err_{boot(1)} = \overline{err}$

Bu ¹ makalenin 3. bölümünde daha fazla bilgi bulacaksınız . Ancak, özetlemek gerekirse, rasgele çizilen ve değiştirilen, den bir sayı örneği olarak çağırırsanız , ortalama olarak yaklaşık benzersiz elemanlar.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Akıl yürütme aşağıdaki gibidir. Biz doldurmak örnekleme ile den kez (rastgele ve değiştirme ile) . Belirli bir dizini düşünün . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Sonra:

$$P(s_i=m)=1/n$$

ve

$$P(s_i\neq m)=1-1/n$$

ve bu doğrudur (sezgisel olarak, değiştirmeyle , olasılıklar bağlı değildir )$\forall 1\leq i \leq n$$i$

Böylece

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Yaklaşımın kalitesini ( bağlıdır ) deneysel olarak kontrol etmek için bu küçük simülasyonu da taşıyabilirsiniz :$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron ve Robert Tibshirani (1997). Çapraz Doğrulamadaki İyileştirmeler: .632+ Bootstrap Yöntemi . Amerikan İstatistik Derneği Dergisi , Vol. 92, No. 438, sayfa 548-560.

Tecrübelerime göre, esasen simülasyonlara dayanarak, 0.632 ve 0.632+ önyükleme varyantlarına yalnızca, doğru olmayan bir puanlama kuralının, yani "doğru bir şekilde sınıflandırılmış" oranının kullanılmasından kaynaklanan ciddi sorunlar nedeniyle ihtiyaç duyuldu. Uygun (örneğin, sapma temelli veya Brier puanı) veya yarı doğru (örneğin, -index = AUROC) puanlama kuralları kullandığınızda, standart Efron-Gong iyimserlik önyüklemesi gayet iyi çalışır.$c$

Bu cevaplar çok faydalıdır. Matematikle göstermenin bir yolunu bulamadım, bu yüzden oldukça iyi çalışan bazı Python kodları yazdım:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)