En iyi öngörücü olarak Koşullu beklentinin kanıtı ile ilgili sorun

19

Kanıtıyla ilgili bir sorunum var

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

bu da büyük olasılıkla beklentilerin ve koşullu beklentilerin daha derin bir yanlış anlaşılmasını ortaya koymaktadır.

Bildiğim kanıt şu şekildedir (bu kanıtın başka bir versiyonunu burada bulabilirsiniz )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

Daha sonra kanıt genellikle $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ ve dolayısıyla

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

olduğunda minimize edildiği görülebilir $g(X) = E(Y|X)$ .

İspat hakkındaki bulmacalarım şunlardır:

Düşünmek

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Bu bağımsız ilk terim her zaman sıfıra eşit olduğunu gösteren herhangi bir tartışmanın, kimse bu ayar görebilirsiniz Bana öyle geliyor $g(X) = E(Y|X)$ o da anlaşılacağı gibi ifadeyi minimize $\big(E(Y|X) - g(X)\big) =0$ ve dolayısıyla

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Bunun doğru olup olmadığını Ama sonra bir yerine kanıtı tekrarlamak olabilir herhangi bir başka işlevi tarafından , demek o olduğunu ve sonuca olsun o en aza indirir ifade. Yani yanlış anladığım bir şey olmalı (değil mi?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

Problemin açıklamasında nin anlamı hakkında bazı şüphelerim var . Gösterim nasıl yorumlanmalıdır? Anlamında mı $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , veya ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
kaynak

11

(Bu Granger & Newbold (1986) "Öngörülen Ekonomik Zaman Serileri" nin bir uyarlamasıdır).

Yapım olarak, hata maliyet fonksiyonu olan . Bu, kritik bir varsayımı içerir (hata maliyeti fonksiyonunun sıfır civarında simetrik olduğu) -Farklı bir hata maliyeti fonksiyonunun, beklenen değerinin olarak şartlı beklenen değeri olması gerekmez . Bilinmeyen miktarlar içerdiğinden hata maliyeti işlevinizi en aza indiremezsiniz. Yani onun yerine beklenen değerini en aza indirmeye karar verdiniz. Sonra objektif fonksiyonunuz $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

ki ikinci sorunuzu da cevapladığına inanıyorum. Beklenen değerin üzerinde koşullu olması sezgiseldir , çünkü göre tahmin etmeye / tahmin etmeye çalışıyoruz . Elde etmek için kareyi ayrıştırın $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

İlk terim içermez, bu nedenle minimizasyonu etkilemez ve göz ardı edilebilir. İkinci terimdeki integral, verilen koşullu beklenen değerine ve son terimdeki integral birliğe eşittir. Yani $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y | X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

Birinci türev wrt olan en aza indirilmesi için birinci order duruma yol ikinci türevinin eşit ise olan bir minimum için yeterlidir. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

EK: "Topla ve çıkar" kanıtı yaklaşımının mantığı.

OP soruda belirtilen yaklaşımdan şaşkın, çünkü totolojik görünüyor. Toplama ve çıkarma taktiği kullanıldığında, toplanan ve çıkarılan terimin keyfi bir seçimi için objektif fonksiyonun belirli bir bölümünü sıfır yaparken, değer fonksiyonunu , yani objektifin değerini eşitlemez. işlevi aday küçültücüde değerlendirilir.

seçimi için değer fonksiyonuna sahibiz Keyfi seçim için değerine sahibiz . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Bunu iddia ediyorum

V (E (Y | X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} | X) - 2 E [(Y E (Y | X)) | X] + E [(E (Y | X))^{2} | X] \leq E (Y^{2} | X) - 2 E [(Y h (X)) | X] + E [(h (X))^{2} | X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

LHS ve RHS'nin ilk dönemi iptal edildi. Ayrıca dış beklentinin üzerinde koşullu olduğunu unutmayın . Koşullu beklentilerin özellikleri sayesinde $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ , ise katı eşitsizliğe sahiptir . Yani küresel ve eşsiz minimize edici olan.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Ancak bu aynı zamanda, "toplama ve çıkarma" yaklaşımının burada en aydınlatıcı kanıt yolu olmadığını söylüyor.

— Alecos Papadopoulos
kaynak

Cevabınız için teşekkürler. İkinci sorumun açıklığa kavuşturulmasına yardımcı oluyor. Sorunun başlığını aktarmaya çalıştığım gibi, asıl meselem (yazıdaki ilk sorun) ispat mekanizması hakkındaydı. Temel kaygım, soruda sunduğum kanıtları anlamam. Açıkladığım gibi, ispat konusundaki anlayışım beni açıkça sorunlu bir ifadeye götürüyor. Bu yüzden, benim hatamın, beklenti ve koşullu beklenti kavramları hakkında daha derin yanlış anlaşılmaları ortaya çıkarabileceğinden anlamak istiyorum. Bunun hakkında bir fikrin var mı?

— Martin Van der Linden

1

İspat için "toplama ve çıkarma" yaklaşımına biraz açıklama ekledim.

— Alecos Papadopoulos

Anlamak için bana biraz zaman aldı, ama sonunda temel hatamı aldım: yeterince doğru olduğunda , ancak ifadesinin en aza indirdiği anlamına gelmez . Basamaklama ifadesinin sıfırdan düşük olmamasının bir nedeni yoktur. Çünkü önünde eksi işareti bir tanesidir bulmak olabilir bu şekilde .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden

1

Hmmm ... bahsettiğiniz ifadedeki eksi işareti bir hatadır - artı işareti olmalıdır. Elbette, eksi işareti almak için şartları yeniden düzenleyebilirsiniz ... bu, kazandığınız sezgiye zarar veriyor mu?

— Alecos Papadopoulos

Soruyu takip ettiğiniz için teşekkürler. Bu hatayı düzeltmek için ilk gönderiyi düzenledim. Neyse ki, kazanılan sezgiye zarar vermediğini düşünüyorum. Aslında benim bir başka hata anlamamıza yardımcı olur: Ben eksi işareti garanti için önemli olduğunu varsayarak ille değildi asgari . Ama bunun sadece 2'den önceki işaretle ilgili olmadığını anlıyorum. (Umarım) Gerçekten anlamam gereken şey, genel olarak (yani keyfi ) , (doğru?) Olduğunda simge durumuna küçültülmesine gerek yoktur .

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

Cevabı kanıtlamak için, gerçekten sadece

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Hangi beklentiyi alacağınıza gelince, şartlı olarak alırsınız, aksi takdirde

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Anlamsızdır, çünkü , değil ise rastgele bir değişkendir . Gerçekten veya yazmanız gerektiğini gösterin bunu netleştirmek için. Şimdi bu açıklamaya göre, terimi sabittir ve beklentinin dışında çekilebilir ve sizde: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

Böylece objektif fonksiyonu şöyle yazabilirsiniz:

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Minimizer buradan belli oluyor. üzerinde de ortalama olsaydınız, aşağıdakileri göstermek için çok benzer bir argümanın kullanılabileceğini unutmayın: $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

Bu Şekil set eğer her biri için , daha sonra aynı zamanda, bu işlevi üzerinde bir minimiser sahiptir. Yani bir bakıma o olsun gerçekten önemli değil olduğunu veya . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— probabilityislogic
kaynak

3

Çok basit bir matematiksel bakış açısı var. Sahip olduğunuz şey, Hilbert uzayında bir projeksiyon problemidir, tıpkı içindeki bir vektörü bir alt uzaya yansıtmak gibidir . $\mathbb{R}^n$

Let altta yatan olasılık alanı belirtmektedir. Sorunun anlamlı olması için, sonlu ikinci momentlere sahip rastgele değişkenleri, yani Hilbert uzayını düşünün . Şimdi sorun şudur: verildiğinde, alt , burada , tarafından oluşturulan -subalgebra'sıdır . (Tıpkı sonlu boyutlu durumda olduğu gibi, bir alt uzaya direncini en aza indirmek projeksiyonu bulmak anlamına gelir). İstenen projeksiyon $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , yapı ile. ( Varlık kanıtını incelerse, bu aslında karakterize eder). $E(X|Y)$

— Michael
kaynak

Bu güzel bir yanıt.

— jII

0

Son sorunuzla ilgili beklenti, wrt (koşulsuz hata) veya wrt (her değerindeki koşullu hata ) olabilir. Mutlu bir şekilde, her bir değerinde koşullu hatayı en aza indirmek koşulsuz hatayı da en aza indirir, bu yüzden bu çok önemli bir ayrım değildir. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
kaynak