Beklenen tahmin hatası - türetme

Özellikle 2.11 ve 2.12 türetilmesinde (şartlandırma, minimum noktaya doğru adım), aşağıda tahmin edilen tahmin hatasının (ESL) türetilmesini anlamak için uğraşıyorum. Herhangi bir işaretçi veya bağlantılar çok takdir.

Aşağıda ESL s. 18. İlk iki denklem sırasıyla 2.11 ve 2.12 denklemleridir.

Let gerçek değerli rasgele giriş vektörü ve göstermektedirler ortak dağılım gerçek bir değerli rasgele çıkış değişkeni, . Bir fonksiyon, arama tahmin etmek için girişi verilen değerleri . Bu teori, tahminlerdeki hataları cezalandırmak için bir kayıp fonksiyonu gerektirir ve en yaygın ve kullanışlı kare hata kaybıdır : . Bu bizi seçmek için bir kritere götürüyor , $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y-f(X))^2$ $f$

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

beklenen (kare) tahmin hatası. $X$ üzerinde koşullandırma yaparak EPE'yi

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

ve EPE'yi en aza indirmenin yeterli olduğunu görüyoruz:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

Çözüm şudur

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

regresyon fonksiyonu olarak da bilinen koşullu beklenti .

regression prediction error

— user1885116
kaynak

Değiştirme ve Vikipedi'ye ilk denklemde Toplam Beklenti Kanunun denkliği (2.9) ve (2.11) verir. İspat için bu makaleyi okuyun. (2.12), EPE'yi en aza indirgemek için seçileceği anlayışının hemen üzerindedir .

X

$X$

Y

$Y$

f

$f$

— whuber

Yan not: Bu İstatistiksel Öğrenme Unsurlarından

— Zhubarb

Bu kitabı da okuyanlar için Weathermax ve Epstein

— Dodgie

@Dodgie Bu bağlantı öldü: (

— Matthew Drury

@MatthewDrury Neyse ki "Weathermax ve Epstein istatistikleri" nin googling'i ilk sonuç olarak bir bağlantı döndürdü;) - waxworksmath.com/Authors/G_M/Hastie/WriteUp/…

— Dodgie

Yanıtlar:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— user48002
kaynak

Ne yazdığınızı anlıyorum, ancak OP'nin soruda gösterilen türetme ile karıştırılıp karıştırılmadığını, cevabınızı anlayacağını düşünüyor musunuz? elbette, soruda gösterilen türetmeyi zaten anladım.

— Mark L. Stone

Ben aynı soru ile google burada var ve aslında bu türev tam olarak ihtiyacım olanı bulmak.

— Noktalı virgüller ve Koli bandı

@ MarkL.Stone - bu aptalca bir soru olabilir, ancak ile ne kastedildiğini ve haline nasıl geldiğini misiniz? Teşekkürler bir grup

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

— Xavier Bourret Sicotte

Birincisi ile kastedilen ikincisidir. Bunun yerine dP (x, y) veya dF (x, y) kullanmanın daha yaygın olduğunu düşünüyorum. 1D'de, dF (x) 'nin f (x) dx anlamına geldiğini göreceksiniz, burada f (x) olasılık yoğunluk fonksiyonudur, ancak gösterim ayrıca ayrı olasılık kütle fonksiyonuna (toplamda) veya hatta bir karışımına izin verebilir. sürekli yoğunluk ve ayrık olasılık kütlesi.

— Mark L. Stone

(Son formül) demek daha kesin olmaz mıydı ?

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— D1X

Denklem (2.11) aşağıdaki küçük eşitliğin bir sonucudur. Herhangi iki rastgele değişken ve ve herhangi bir fonksiyonu için $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

notasyonu , ortak dağıtım beklentisidir . Notasyonu esasen "koşullu dağılımı üzerinde entegre diyor sanki giderildi". $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

ve sadece ilgili tanımları ayrı rastgele değişkenler olması durumunda bunu doğrulamak kolaydır $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} g (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

Sürekli vaka ya gayri resmi olarak bu argümanın bir limiti olarak görülebilir ya da tüm ölçü teorik günlükleri yerine getirildikten sonra resmi olarak doğrulanabilir.

Uygulamayı için , ve . Her şey tam olarak sıralanıyor. $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

İddia (2.12) bizden asgariye indirmeyi düşünmemizi istiyor

E_{X} E_{Y ∣ X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

burada istediğimiz gibi seçmekte özgürüz . Yine, ayrı bir konuya odaklanıp, yukarıdaki gevşemenin yarısına düştüğümüzde, $f$

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

Büyük parantez içindeki her şey negatif değildir ve toplamları ayrı ayrı minimize ederek negatif olmayan miktarların toplamını en aza indirebilirsiniz. Bağlamda bu , en aza indirmek için seçebileceğimiz anlamına gelir. $f$

\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

her ayrık değeri için ayrı ayrı . Bu, ESL'nin iddia ettiği şeyin içeriği, sadece meraklı gösterimiyle. $x$

— Matthew Drury
kaynak

Bu kitaptaki bazı kısımları, özellikle istatistik konusunda güçlü bir geçmişi olmayanlar için anlaşılması zor bir şekilde ifade ediyorum.

Basitleştirmeye çalışacağım ve karışıklıktan kurtulabileceğinizi umuyorum.

İstem 1 (Düzeltme) $E(X) = E(E(X|Y)),\forall X,Y$

İspat : E (Y) sabittir ancak E (Y | X) X'e bağlı olarak rastgele bir değişkendir.

\begin{aligned} E (E (X | Y)) & = \int E (X | Y = y) f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int \int x f_{X Y} (x, y) d x d y \\ = \int x (\int f_{X Y} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

Talep 2 : $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

İspat :

\begin{aligned} E ((Y - f (X))^{2} | X) & = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (since E (Y | X) - f (X) is constant given X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) ( use Claim 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Yukarıdaki denklemin her iki tarafının da beklentisi olması, İstem 2'yi (QED) verir

Bu nedenle, optimal f $f(X) = E(Y|X)$

— thanhtang
kaynak