Sapma varyans ayrışımı: beklenen kare tahmini hatası için terim daha az indirgenemez hata

Hastie ve diğ. "İstatistiksel Öğrenmenin Unsurları" (2009) , ve veri oluşturma işlemini olarak değerlendirmektedir .

Y = f (X) + ε

$Y = f(X) + \varepsilon$

E (ε) = 0

$\mathbb{E}(\varepsilon)=0$

Var (ε) = σ_{ε}^{2}

$\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$

noktasındaki (s. 223, formül 7.9) beklenen kare tahmini hatasının aşağıdaki sapma varyans ayrışmasını sunarlar : benim Kendi işim belirtmiyorum ancak bunun yerine keyfi bir tahmin alıyorum (bu konuyla ilgiliyse). Soru: veya daha doğrusu için bir terim arıyorum $x_0$

\begin{aligned} Err (x_{0}) & = E ([y - \hat{f} (x_{0})]^{2} | X = x_{0}) \\ = \dots \\ = σ_{ε}^{2} + {Bias}^{2} (\hat{f} (x_{0})) + Var (\hat{f} (x_{0})) \\ = Irreducible error + {Bias}^{2} + Variance . \end{aligned}

$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$

\hat{f} (\cdot)

$\hat f(\cdot)$

\hat{y}

$\hat y$

{Bias}^{2} + Variance

$\text{Bias}^2 + \text{Variance}$

Err (x_{0}) - Irreducible error .

$\text{Err}(x_0) - \text{Irreducible error}.$

— Richard Hardy
kaynak

Burada soru nedir?

— Michael R.Chernick

@sntx, fikir için teşekkürler. Ama bir şekilde doğru gelmiyor. Belki modelleme hatası (yani modelin yanlış tanımlanması ve modelin kesin olmayan tahmini nedeniyle hata), ancak tahmin üreten bir modelin (örn. Uzman tahminleri) olması mantıklı değildir.

— Richard Hardy

@DeltaIV, bu oldukça iyi. Ancak, terimin suçlandığını düşünüyorum; sanki tahminimiz kötü ve daha iyisini yapabiliriz. Ancak, söz konusu veriler için elimizden geleni yaptığımızı varsayalım. Bu yüzden doğru modeli seçtik ("model sapması" yok), ancak örnek katsayıları mükemmel bir şekilde tahmin etmek için çok küçük. Tahmin varyansı ("model varyansı") bu nedenle verilen örnek büyüklüğü için gerçekten indirgenemez - "azaltılabilir hata" terimi bunun böyle olmadığını gösterir. Daha iyi bir terim bulabileceğimizden emin değilim, yine de bunun için çabalamak istiyorum.

— Richard Hardy

@DeltaIV, tamam, şimdi bu anlamda azaltılabilir olduğu sezgiye sahibim. Yine de, daha fazla açıklama yapmadan kullanılırsa terim yanıltıcı olabilir (tıpkı bana açıklamanız gerektiği gibi). İkinci öneriniz kesin, bu gerçekten güzel, ama dediğin gibi oldukça kıvrımlı.

— Richard Hardy

@DeltaIV, böyle ses çıkarmayı düşünmedim. Bu kişisel bir şey değil; (umarım ikna edici) argümanlarım yorumlarda yer alıyor. Ama benimle tartıştığınız için teşekkürler, yardımcı olur.

— Richard Hardy

Yanıtlar:

İndirgenebilir hata öneriyorum . Bu aynı zamanda temel olarak ESL + bazı çok güzel R kod laboratuvarlarının basitleştirilmesi olan Gareth, Witten, Hastie & Tibshirani, İstatistiksel Öğrenmeye Giriş , paragraf 2.1.1'de kabul edilen terminolojidir (kullandıkları hariç, attach, ama, hey, kimse mükemmel değil). Bu terminolojinin avantaj ve dezavantajlarını aşağıda listeleyeceğim.

Her şeyden önce, biz varsayalım sadece bu hatırlamak gerekir ortalama 0 olması değil, aynı zamanda olmaya bağımsız bir (paragraf 2.6.1, ESL, 2 formülünü 2.29 bkz ^nd baskısında, 12 ^inci baskı). O zaman elbette , hangi hipotez sınıfını (model ailesi) seçersek seçelim ve hipotezimizi öğrenmek için ne kadar büyük bir örnek kullandığımız (modelimizi tahmin etsek) tahmin edilemez . Bu un neden indirgenemez hata olarak adlandırıldığını açıklar . $\epsilon$ $X$ $\epsilon$ $X$ $\mathcal{H}$ $\sigma^2_{\epsilon}$

Benzer şekilde, hatanın kalan kısmını , indirgenebilir hata olan tanımlamak doğal görünmektedir . Şimdi, bu terminoloji biraz kafa karıştırıcı gelebilir: aslında, veri oluşturma süreci için yaptığımız varsayımla, şunu kanıtlayabiliriz: $\text{Err}(x_0)-\sigma^2_{\epsilon}$

f (x) = E [Y | X = x]

$f(x)=\mathbb{E}[Y\vert X=x]$

Bu nedenle, indirgenebilir hata , yalnızca ve sadece (elbette tutarlı bir tahmincimiz olduğu varsayılarak) sıfıra indirilebilir . Eğer , hatta sonsuz numune boyutu limiti, 0 indirgenebilir hata sürücü olamaz. Bununla birlikte, hala hatamızın, örnek boyutunu değiştirerek, tahmincimize düzenlileştirme (büzülme) ekleyerek, vb. Başka bir model ailemizde. $\mathbb{E}[Y\vert X=x]\in \mathcal{H}$ $\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$ $\hat{f}(x)$

Temel olarak, indirgenebilir , sıfırlanabilir (yuck!) Anlamında değil, hatanın keyfi olarak küçük olmasa bile azaltılabilecek kısmı anlamındadır. Ayrıca, ilke olarak kadar büyütülerek bu hatanın 0'a düşürülebileceğini unutmayın . Bunun aksine, indirgenemez, ne kadar büyük , çünkü, . $\mathcal{H}$ $\mathbb{E}[Y\vert X=x]$ $\sigma^2_{\epsilon}$ $\mathcal{H}$ $\epsilon\perp X$

— DeltaIV
kaynak

Gürültü azaltılamaz hata ise, azaltılamaz. Bunu bir şekilde motive etmeniz gerekiyor, bunu kendim için yapamam.

— Carl

2.1.1'de örnek "kandaki bir ilacın tahlili" dir. Aşağıda verdiğim ilk örnek tam olarak bu. Bu tahlilde, indirgenemez ölçüm hatası denilen türden bir şey değildir. Genellikle 10000 veya daha fazla olay sayılarak azaltılan gürültü sayma, neredeyse katlanarak dağıtılan pipetleme hatası ve diğer teknik hatalardan oluşur. Bu "indirgenemez" hataları daha da azaltmak için, her zaman örneği için üç sayma tüpünün medyanını kullanmanızı öneririm. İndirgenemez terimi kötü jargon, tekrar deneyin.

— Carl

@Delta, cevap için teşekkürler. Bir astar "azaltılabilir hata" çok inandırıcı olmayabilir, ancak bağlam ve tartışma göz önüne alındığında oldukça iyi görünüyor!

— Richard Hardy

Jargon geliştirmenin amacının insanları karıştırmak olduğunu düşünmüyorum. Eğer hata bağımsız söylemek istiyorum olan hata işlevidir karşı, , ne demek istediğini söylemek.

n

$n$

n

$n$

— Carl

@DeltaV İndirgenebilirliğin şüpheli bir varsayım olduğuna inanıyorum, aşağıya bakın.

— Carl

Tüm fiziksel olayların düzgün bir şekilde modellenmiş olduğu bir sistemde, geriye kalan gürültü olacaktır. Bununla birlikte, genellikle bir modelin verilere yaptığı hatada gürültüden ziyade daha fazla yapı vardır. Örneğin, modelleme önyargısı ve gürültü tek başına eğrisel kalıntıları, yani değiştirilmemiş veri yapısını açıklamaz. Açıklanamayan fraksiyonun toplamı , fiziğin yanlış sunumunun yanı sıra bilinen yapının yanlılığı ve gürültüsünden oluşabilen . Önyargı biz ortalama tahmininde sadece ortalama hata varsa $1-R^2$ $y$ , "indirgenemez hata" ile gürültü kastediyoruz ve varyans ile modelin sistemik fiziksel hatasını kastediyoruz, sonra sapma (kare) ve sistemik fiziksel hata toplamı özel bir şey değil, sadece gürültü olmayan hata . (Kareli) yanlış kayıt terimi bunun için belirli bir bağlamda kullanılabilir, aşağıya bakınız. Eğer yeterli gelmezse hata bağımsız bir fonksiyonudur hata karşısında, $n$ $n$ , söylüyorlar. IMHO, her iki hata da indirgenemez, böylece indirgenemezlik özelliği, aydınlatıldığından daha fazla kafa karıştırıcı olacak şekilde yanlış yönlendirilir.

Neden "indirgenebilirlik" terimini sevmiyorum? İndirgenebilirlik Aksiyomunda olduğu gibi kendine referans veren bir totoloji şapırtır . Ben katılıyorum Russell 1919 o ben azalt aksiyomu olası tüm dünyada doğru olduğunu söyleyerek demek olacağını budur, mantıksal olarak gerekli olduğuna inanmak için bir neden görmüyorum". Bir sisteme bu aksiyomun itirafı bu nedenle mantık bir kusurdur ... şüpheli bir varsayımdır. "

Aşağıda, eksik fiziksel modelleme nedeniyle yapılandırılmış kalıntılara bir örnek verilmiştir. Bu, ölçeklendirilmiş bir gama dağılımının, yani bir gama varyantının (GV) takılan sıradan en küçük karelerden, renal glomerüler filtrelenmiş radyofarmasötiğin radyoaktivitesinin kan plazma örneklerine kadar olan kalıntıları temsil eder [ 1 ]. Daha fazla veri atılır ( $n=36$ her bir zaman örneği için), model daha iyi hale gelir, böylece indirgenebilirlik daha fazla örnek aralığı ile ayrılır.

İlk numuneyi beş dakikada düşürdüğü için, fizik, erken numuneleri 60 dakikaya düşürmeye devam ettikçe sırayla geliştiği için dikkate değerdir. Bu, GV'nin ilacın plazma konsantrasyonu için iyi bir model oluşturmasına rağmen, erken zamanlarda başka bir şeyin devam ettiğini gösterir.

Gerçekten de, biri erken zaman, ilacın dolaşım yoluyla verilmesi ve diğeri organ temizliği için olmak üzere iki gama dağılımı kıvrılırsa, bu tür bir hata, fiziksel modelleme hatası, $1\%$ [ 2 ]. Sırada bu evrişimin bir örneği var.

Bu son örnekten, zaman grafiğine karşı sayımların karekökü için, $y$ -aks sapmalar Poisson gürültü hatası anlamında standart sapmalardır. Böyle bir grafik, uyum hatalarının bozulma veya bükülmeden kaynaklanan görüntü yanlış kaydı olduğu bir görüntüdür. Bu bağlamda ve sadece bu bağlamda yanlış kayıt yanlılık artı modelleme hatasıdır ve toplam hata yanlış kayıt artı gürültü hatasıdır.

— Carl
kaynak

Gerçekten de, yukarıdaki ayrışma budur. Ancak cevabınız, asıl soruyu ele almadığı için bir yorum olarak daha iyi hizmet edecektir. Yoksa öyle mi?

— Richard Hardy

Teşekkürler, ama cevap konudan biraz daha uzaklaştı. Asıl soru arasında herhangi bir bağlantı bulmakta zorlanıyorum (nasıl arayabilirim)

{Bias}^{2} + Variance

$\text{Bias}^2+\text{Variance}$ ) ve tüm bunlar ...

— Richard Hardy

Bir kez daha farklı bir soruya cevap veriyorsunuz. Yanlış bir soruya doğru cevap maalesef yanlış cevaptır (kendine bir not: tesadüfen, bunu dün lisans öğrencilerime açıklıyordum). İfadenin ne kadar anlamlı olduğunu sormuyorum (ESL ders kitabını okuyan ve / veya uygulamalı makine öğreniminde çalışan biri için anlamlı), bunun için uygun bir terim istiyorum. Soru olumlu, normatif değil. Ve oldukça basit ve çok somut.

— Richard Hardy

@RichardHardy Fizik olmadan, soruyu anlamak benim için zordu. Cevabımı değiştirdim, yukarıdaki yanlış kayıt konusuna bakın.

— Carl

İşlemi tahmin etmek için bunu yapabilirsiniz, evet, bu azaltılabilir hata kısmıdır. Ancak madeni para çevirmeyi içeren somut bir olay öngördüğünüzde, madeni para çevirinin sonucunu yanlış tahmin etmekle ilişkili hatayı azaltmanın bir yolu yoktur. İndirgenemez hatanın konusu budur. İlginç: tamamen deterministik bir dünyada tanım gereği indirgenemez hata olmazdı, bu yüzden dünyaya bakış açınız tamamen deterministikse, ne demek istediğinizi anlayabilirim. Ancak dünya, "İstatistiksel Öğrenmenin Unsurları" nda ve genel olarak istatistiklerde stokastiktir.

— Richard Hardy