Yinelenen Beklentiler Yasasının genelleştirilmesi

43

Geçenlerde bu kimliğe rastladım:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Elbette bu kuralın basit versiyonunu biliyorum, yani ama bunun için gerekçe bulamadım genelleme. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Birisi beni bu konuda teknik olmayan bir referansı gösterebilirse veya daha da iyisi, bu önemli sonuç için basit bir kanıt hazırlayabilirse minnettar olurum.

self-study conditional-probability conditional-expectation

— JohnK
kaynak

2

Eğer üzerinde şartlanmış olsaydı, bu tamamen basit versiyonun dışına çıkmaz mıydı?

y

$y$

x

$x$

— Mehrdad

36

BİLGİ TEDAVİSİ

Rasgele değişkenler üzerinde şart koyduğumuz notasyonun, ekonomik olmasına rağmen, notasyon olarak yanlış olduğunu hatırlamalıyız. Gerçekte, bu rastgele değişkenlerin ürettiği sigma cebirini şartlandırırız. Başka bir deyişle , . Bu sözler "Gayri resmi bir İşlem" de görünmeyebilir, ancak şartlandırma varlıklarımızın kümelerden oluşan koleksiyonlar olduğunu hatırlatır (ve tek bir değere koşarken, o zaman bu bir singleton setidir). Peki bu setler neler içeriyor? İçerdikleri bilgi rasgele değişken olası değerler hangi geçirilmesindeki olabilecekler konusunda bize temin . $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ $X$ $Y$
Bilgi kavramını getirmek, Yinelenen Beklentiler Yasasını (bazen "Kule Mülkiyeti" olarak adlandırılır) çok sezgisel bir şekilde düşünmemize ve kullanmamıza izin verir:
En az iki rasgele değişken tarafından oluşturulan sigma cebiri Bir rastgele değişkenin ürettiği büyüklük: büyük set-teorik anlamdaki . Böylece bilgi ile ilgili içerdiği karşılık gelen bilgilere kadar büyük, en azından, . Şimdi, notasyonel innuendo olarak, ve . Ardından, baktığımız denklemin LHS'si yazılabilir. $\sigma (X) \subseteq \sigma(X,Z)$ $Y$ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$ sözlü Elimizdeki yukarıdaki ifadeyi nitelendiren: "beklenen değerin {beklentisi nedir Bilgi verilen } yalnızca mevcut bilgisine sahip için mi? "

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Her nasılsa "dikkate alalım" ? Hayır - sadece . Fakat sahip olduğumuz şeyi kullanırsak (çözmek istediğimiz ifadeyle mecbur olduğumuz gibi), o zaman beklentiler operatörü altında hakkında bir şeyler söylüyoruz , yani " " , artık - bilgilerimizi henüz tükettik. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Bu yüzden

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Başkası almazsa, resmi tedavi için geri döneceğim.

A (biraz daha fazla) FORMAL TEDAVİ

İki önemli olasılık teorisi kitabının, P. Billingsley'in Olasılık ve Ölçümü'nün (3d ed.-1995) ve D. Williams'ın "Martingalılarla Olasılık" (1991), "Yinelenen Beklentiler Yasası" nı nasıl ispatladığını ele alalım:
Billingsley ispat için tam üç satır ayırıyor. Williams ve teklif veriyorum

"(Kule Mülkiyet) koşullu beklenti tanımından hemen hemen".

Bu bir metin satırı. Billingsley'in ispatı daha az opak değil.

Tabii ki haklılar: koşullu beklentinin bu önemli ve sezgisel özelliği, esasen doğrudan (ve hemen hemen) tanımından kaynaklanmaktadır - tek sorun, bu tanımın genellikle öğretilmediğini veya en azından vurgulanmadığını, olasılık dışında olduğunu sanmıyorum. veya teorik çevreleri ölçün. Ancak, İfade Edilmiş Beklentiler Kanunu'nun (neredeyse) üç satırını gösterebilmek için, koşullu beklenti tanımına veya onun tanımlayıcı özelliğine ihtiyacımız var .

Bir olasılık alanı ve bir bütünleşik rasgele değişken . Let bir alt olmak cebiri arasında , . Daha sonra , matematiksel ölçülebildiği, bütünleştirilebilen ve tanımlayan özellik olan bir işlevi vardır. $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

buradaki , setinin gösterge işlevidir . Biz söylemek ( "bir sürümünü") 'dir koşullu beklenti verilen ve biz yazmak burada dikkat edilmesi gereken kritik detay koşullu beklenti olduğunu aynı beklenen değere sahiptir değil sadece bütün üzerinde, yapar , ama her alt kümesinde arasında . $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Şimdi Tower mülkünün şartlı beklenti tanımından nasıl çıktığını göstermeye çalışacağım).

$W$ matematiksel bir ölçülebilir rasgele değişkendir. O zaman bazı alt -algebra düşünün , deyin . Sonra . Bu yüzden, daha önce olduğu gibi benzer bir şekilde, biz koşullu bir beklentiye sahip verilen , demek bu karakterizedir $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Yana , denklem ve bize vermek $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Ancak bu koşullu beklenti belirleyici özelliğidir verilen . $Y$ $\mathcal H$ Bu yüzden inşaata ile de sahip olduklarından , sadece kanıtlanmıştır kule özellik veya Yinelenen Beklentiler Yasasının genel formu - sekiz satırda. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
kaynak

6

(+1) Bu soyut ve zor bir kavramı tanımlamanın yararlı bir yoludur. Yine de, "... daha büyük değil ..." ifadesinin "daha küçük olmaması" gerektiğine inanıyorum. Daha da iyisi, o bölüm hakkında bilgi Yani bir rastgele değişkenin tarafından üretilen bu kadar büyük, en azından ... iki değişken tarafından oluşturulan sigma cebir" gibi negatif kaldırma ve paralel yapı kullanılarak daha net yapılmış olabilir içeriyordu içinde karşılık gelen bilgilere kadar büyük, en azından, ."

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

İkinize de teşekkürler, cc @ whuber. Bu çok kullanışlı bir teoremdir.

— JohnK

@ whuber Bunu ve önerinizi paylaştığınız için teşekkür ederiz.

— Alecos Papadopoulos

24

Koşullu beklentiyi anlama ve öğrencilerime öğretme yöntemi şudur:

koşullu beklenti , çözünürlüğünde bir kamera tarafından çekilmiş bir resimdir $E[Y|\sigma(X)]$ $\sigma(X)$

Alecos Papadopoulos, gösterim tarafından belirtildiği gibi daha hassas . Kamera hattı boyunca, , orijinal nesne, örneğin bir manzara, manzara gibi düşünülebilir. , çözünürlüğü olan bir fotoğraf makinesi tarafından çekilmiş bir resimdir . Beklenti ortalama bir operatördür ("bulanıklaştırma" operatörü?). Manzara çok şey içerebilir, fakat düşük çözünürlüklü bir kamera kullanarak çektiğiniz resim kesinlikle biraz ayrıntıdan uzaklaşacaktır, örneğin gökyüzünde çıplak gözünüz tarafından görülebilen bir UFO olabilir, ancak tarafından çekilen resimde görünür (iphone 3?) $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$

Çözünürlük kadar yüksekse , bu resim gerçek manzaradaki her ayrıntıyı yakalayabilir. Bu durumda, . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Şimdi, olarak görülebilir: çözünürlüğe sahip bir kamerayı kullanarak (örneğin, iphone 1) daha düşük olan (örneğin, iphone 3) ve bu fotoğrafta çözünürlüğünde kamera tarafından oluşturulan bu fotoğrafın resmini çekin, o zaman bir fotoğraftaki bu resmin başlangıçta yaptığınız gibi olması gerektiği açık olmalıdır. düşük çözünürlüklü bir kamera kullanın . $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

Bu, hakkında sezgi sağlar . Aslında bu aynı sezgi bize hala olduğunu söylüyor . Bunun nedeni şudur: İlk fotoğrafınız iphone 1 (düşük çözünürlükte) tarafından çekilirse ve şimdi ilk fotoğrafta başka bir fotoğraf oluşturmak için daha iyi bir kamera (örneğin, iphone 3) kullanmak istiyorsanız, o zaman hiçbir şekilde İlk fotoğrafın kalitesini artırabilir. $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$

— KevinKim
kaynak

2

Sevdim! :) harika bir açıklama.

— jessica,

1

@jessica Ben yardımcı olur sevindim :-) Bu açıklama ile gelip bir süre aldı

— KevinKim

21

Yinelenen Beklenti Yasasında (LIE), , bu içsel beklenti, bir işlevi olan rastgele bir değişkendir , ve bir işlevi değil . bu fonksiyonunun beklentisinin beklentisine eşit olması, LIE'nin bir sonucudur. Bütün bunlar, el sallayarak, sadece ortalama değerinin, çeşitli koşullar altında ortalama değerlerinin ortalaması alınarak bulunabileceği iddiası . Aslında, bunların tümü, toplam olasılık yasasının doğrudan bir sonucudur. Örneğin, eğer ve $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ , pmf rasgele değişkenler , daha sonra \ scriptstyle {\ text {RV} ~ E [Y \ orta X] ~ \ text {değeri}} ~ E [Y \ orta X = x] ~ \ text {ne zaman} ~ X = x} \ end {align} Not Bu son beklentinin göre nasıl olduğu ; $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$ bir fonksiyonudur değildir, , ama yine de, buna ait ortalama ortalama aynıdır .

X

$X$

Y

$Y$

Y

$Y$

Baktığınız genelleştirilmiş LIE , içsel beklentinin iki rastgele değişkeni bir fonksiyonu olduğu sol 'a sahiptir. ve . Argüman yukarıda ana hatlarıyla belirtilene benzer, ancak şimdi rastgele değişkeninin başka bir rastgele değişkene eşit olduğunu göstermeliyiz. değeri olduğunda , değerine bakarak bunu yaparız . Açıklamaları atlayarak, biz var $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$ Sondan beri olan sonucun , rastgele değişkeninin koşullu beklenen değerinin formülü olduğuna dikkat edinZ] ( ve bir fonksiyonu ) şartlandırılmış

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$ değerinde . Bu sabitleme değeri için rastgele değişken değerlerini çarpılmasıyla tarafından şartlı PMF değeri verilen , ve tüm bu koşullar toplanmasıyla.

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Bu nedenle, rastgele değişkeninin her değeri için, rastgele değişkeninin değeri ( daha önce not ettik , değil, bir işlevidir ), rastgele değerinin değeriyle aynıdır. değişken , yani bu iki rastgele değişken eşittir. Sana yalan söyler miyim hiç? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
kaynak