Eğilim-Varyans denkleminin matematiksel sezgisi

I son sorulan bir soru : Numune ortalama ve varyans ilgili temel denklem arkasında bir matematiksel yorumu / sezgi arayan , geometrik ya da başka şekilde.$E[X^2] = Var(X) +(E[X])^2$

Ama şimdi yüzeysel olarak benzer yanlılık-varyans tradeoff denklemini merak ediyorum.

$$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$$ ( Wikipedia'dan formüller )

Bana göre regresyon için önyargı-varyans tolerans denklemi ile yüzeysel bir benzerlik var: üç kare ve iki kare diğerine ekleniyor. Çok Pisagor görünümlü. Tüm bu öğeler için diklik de dahil olmak üzere benzer bir vektör ilişkisi var mı? Veya ilgili başka matematiksel yorumlamalar var mı?

Işık tutabilecek diğer matematiksel nesnelerle matematiksel bir benzetme arıyorum. Burada iyi anlaşılan doğruluk-hassas benzetmesini aramıyorum. Ancak insanların önyargı-varyans dengesi ile çok daha temel ortalama-varyans ilişkisi arasında verebilecek teknik olmayan analojiler varsa, bu da harika olurdu.

Benzerlik yüzeysel olmaktan daha fazlasıdır.

"Sapma varyans dengesi", iki dikey Öklid vektörüne uygulanan Pisagor Teoremi olarak yorumlanabilir: birinin uzunluğu standart sapma, diğerinin uzunluğu ise sapmadır. Hipotenüsün uzunluğu, kök ortalama kare hatasıdır.

Temel bir ilişki

Bir çıkış noktası olarak, sonlu ikinci moment ve herhangi bir gerçek sayı olan herhangi bir rastgele değişken için geçerli olan bu açığa çıkarma hesaplamasını düşünün . İkinci momenti sonlu olduğu, bir sonlu ortalama sahiptir olan , neredena X μ = E ( X ) E ( X - μ ) = $X$$a$$X$$\mu=\mathbb{E}(X)$$\mathbb{E}(X-\mu)=0$

$$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$$

Bu görüntüleme yöntemi arasındaki ortalama kare sapma, ve herhangi bir "taban" değeri göre değişir : bunun ikinci dereceden bir fonksiyonu olan de en az ortalama karesi sapma varyansını, .a a a μ $X$$a$$a$$a$$\mu$$X$

Tahmin ediciler ve önyargı ile bağlantı

Herhangi bir tahminci rastgele bir değişkendir, çünkü (tanım gereği) rastgele değişkenlerin (ölçülebilir) bir fonksiyonudur. O rolü oynamak Letting önceki ve icar içinde estimand (şey olması tahmin gerekiyordu) Elimizdeki, x θ$\hat \theta$$X$$\hat\theta$$\theta$

$$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$$

Şimdi dönelim, bir tahminci için önyargı + varyans hakkındaki ifadenin tam olarak in bir örneği olduğunu gördük . Soru "matematiksel nesnelerle matematiksel analojiler" istiyor. Bundan daha fazlasını yapabiliriz ki, kareye entegre rastgele değişkenler doğal olarak Öklid uzayına dönüştürülebilir.$(1)$$(1)$

Matematik arka plan

Çok genel anlamda, rastgele bir değişken olasılık uzayında ölçülebilir) gerçek değerli bir fonksiyondur . Genellikle (verilen olasılık yapısı anlaşıldığı gibi) ile yazılan kare ile bütünleştirilebilen bu tür fonksiyonlar kümesi neredeyse bir Hilbert alanıdır. Birine bunu yapmak için, herhangi iki rasgele değişkenlerini bir araya zorunda ve gerçekten entegrasyon açısından farklılık yoktur:, diyebiliriz ve olan eşdeğer olduğunda$(\Omega, \mathfrak{S}, \mathbb{P})$$\mathcal{L}^2(\Omega)$$X$$Y$$X$$Y$

$$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$$

Bunun gerçek bir denklik ilişkisi olup olmadığını kontrol etmek kolaydır: en önemlisi, , eşit ve , eşit olduğunda , zorunlu olarak , eşit olacaktır . Bu nedenle, tüm kareye entegre rastgele değişkenleri denklik sınıflarına ayırabiliriz. Bu sınıflar kümesini oluşturur . Dahası, , noktasal değer ekleme ve noktasal skaler çarpma ile tanımlanan vektör uzay yapısını devralır . Bu vektör uzayda, fonksiyon$X$$Y$$Y$$Z$$X$$Z$$L^2(\Omega)$$L^2$$\mathcal{L}^2$

$$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$$

sıklıkla yazılmış bir normdur . Bu norm, Hilbert boşluğuna dönüştürür . Hilbert uzayını "sonsuz boyutlu Öklid uzayı" olarak düşünün . Herhangi bir sonlu boyutlu altuzay , ve normu devralır ve bu norm ile Öklid uzaydır: içinde Öklid geometrisi yapabiliriz.$||X||_2$$L^2(\Omega)$$\mathcal{H}$$V\subset \mathcal{H}$$\mathcal{H}$$V$

Son olarak, olasılık uzaylarına özel bir gerçeğe ihtiyacımız var (genel ölçü uzaylarından ziyade): bir olasılık olduğundan, ( ) sınırlıdır, bu nedenle sabit fonksiyonlar (herhangi biri için) sabit gerçek sayı ) sonlu normlara sahip kare ile entegre rastgele değişkenlerdir.$\mathbb{P}$$1$$\omega\to a$$a$

Geometrik bir yorum

içindeki denklik sınıfının bir temsilcisi olarak düşünülen, kare ile bütünleşebilen rastgele değişken düşünün . Ortalama bir vardır (ki bu kontrol edilebilir) sadece denklik sınıfına bağlıdır . Let olacak sabit bir rastgele değişkenin sınıfı.$X$$L^2(\Omega)$$\mu=\mathbb{E}(X)$$X$$\mathbf{1}:\omega\to 1$

$X$ ve boyutu en fazla olan bir Öklid alt uzay . Bu alt boşlukta, , kare uzunluğudur ve , sabit rasgele değişkeninin kare uzunluğu . Esastır olan dik, . ( bir tanımı, durumun benzersiz olduğu sayıdır.) İlişki yazılabilir$\mathbf{1}$$V\subset L^2(\Omega)$$2$$||X||_2^2 = \mathbb{E}(X^2)$$X$$||a\,\mathbf{1}||_2^2 = a^2$$\omega\to a$$X-\mu\mathbf{1}$$\mathbf{1}$$\mu$$(1)$

$$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$$

Gerçekten de öyle hassas 2500 yıl önce bilinen temelde aynı formda, Pisagor Teoremi. Nesne ayaklı bir dik üçgen hipotenüsüdür ve .

$$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$$ $X-\mu\mathbf{1}$$(a-\mu)\mathbf{1}$

Eğer matematiksel analojiler istiyorsanız, Öklid uzayında sağ üçgenin hipotenüsü cinsinden ifade edilebilecek herhangi bir şey kullanabilirsiniz. Hipotenüs "hatayı" temsil eder ve bacaklar önyargıyı ve ortalamadan sapmaları temsil eder.

Bu, doğruluk ve varyans önyargısı hakkında görsel olarak düşünmenin bir yoludur. Bir hedefe baktığınızı ve hedefin merkezine yakın bir şekilde dağılmış şekilde, önyargı olmayacak şekilde birçok çekim yaptığınızı varsayalım. Daha sonra doğruluk sadece varyansla belirlenir ve varyans küçük olduğunda atıcı doğrudur.

Şimdi büyük bir hassasiyet ancak büyük önyargıların olduğu bir durumu ele alalım. Bu durumda çekimler merkezden uzak bir nokta etrafında dağılmıştır. Bir şey hedef noktasını karıştırıyor, ancak bu hedef noktasının etrafında her atış bu yeni hedef noktasına yakın. Atıcı önyargı nedeniyle kesin fakat çok yanlış.

Küçük önyargı ve yüksek hassasiyet nedeniyle çekimlerin doğru olduğu başka durumlar da vardır. İstediğimiz şey yanlılık ve küçük sapma veya küçük sapmalı küçük sapmadır. Bazı istatistiksel problemlerde her ikisine birden sahip olamazsınız. Dolayısıyla MSE, varyans önyargı ticaretini ortadan kaldıran kullanmak istediğiniz doğruluk ölçüsü haline gelir ve MSE'yi minimuma indirmek hedef olmalıdır.