MSE'nin Varyans ve Eğilimli Karelere Ayrışması

MSE'nin varyans artı Bias karesinde ayrıştırılabileceğini gösteren Vikipedi'de ispatın resimde vurgulanan bir adımı vardır. Bu nasıl çalışıyor? Beklenti, 3. adımdan 4. adıma kadar ürüne nasıl itiliyor? İki terim bağımsız ise, beklenti her iki terime de uygulanmamalı mı? ve eğer değilse, bu adım geçerli mi? görüntü tanımını buraya girin

random-variable expected-value mse

— statBeginner
kaynak

Yanıtlar:

Hile olmasıdır $\mathbb{E}(\hat{\theta}) - \theta$ bir sabittir.

— Adamo
kaynak

Ah anlıyorum. Burada bilinmeyen tek şey tahmin edicidir. Sağ?

— statBeginner

Evet. Beklenti aracı alarak tahmincisi ne yapar olduğunu, tahmin ediyor için ne olursa olsun gider

0'a gitmek

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— Adamo

Üzgünüm, bu cümle benim için pek anlamlı değil. Bir tahminci tahmin ettiği her şeye giderse, bu tarafsız olmaz mıydı? O söyleyerek açıklanabilir

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 ortadaki ürün terimi, beklenen değeri 0 olan sabit bir

— süreye sahiptir. Tatarcı

olan bir değişkendir ve bir sabit. Ayrıca, trick daha önemsiz ve bir

ile

sabit bir varsayılan olarak 0 olmaz (örneğin

). Aslında gerçek hüner yalan

, böylece sabit olan (ve bir integral alınabilir)

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Adem'in cevap bu hile hakkında doğru bir sabittir. Bununla birlikte, nihai sonucu bulmaya yardımcı olur ve wikipedia makalesindeki belirli adımla ilgili soruyu net bir şekilde açıklamıyor (düzenleme: şu an vurguladığımın ve satır 3 ile dördüncü satır arasındaki adımın belirsiz olduğu ). $E(\hat{\theta}) - \theta$

(soru hakkında unutmayın değişken gelen farklılık, sürekli Adem'in cevap benim yorumunda bu yanlış daha netlik için terimleri Genişleyen yazdı:.. değişken tahmin edilmektedir , sabit bu tahmin beklentisi olan ve gerçek değer ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Püf noktası 1: düşünün

Değişken $x=\hat{\theta}$

the constant $a=\mathbb{E}\left[ \hat{\theta} \right]$

and the constant $b = \theta$

Then the relation can be written easily using the transformation rules expressing the moments of variable $x$ about $b$ in terms of the moments of variable $x$ about $a$ .

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Trick 2: For the second moment the above formula has three terms in the summation. We can eliminate one of them (the case $i=1$ ) because $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Here one can also make the argument with something being a constant. Namely $\mathbb{E}(a)=a$ if $a$ is a constant and using $a=\mathbb{E}(\theta)$ , which is a constant, you get $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$ .

More intuitively: we made the moment of $x$ about $a$ , equal to a central moment (and the odd central moments are zero). We get a bit of a tautology. By substracting the mean from the variable, $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$ , we generate a variable with mean zero. And, the mean of 'a variable with mean zero' is zero.

The wikipedia article uses these two tricks in respectively the third and fourth line.

The nested expectation in the third line

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

is simplified by taking the constant part $(\mathbb{E}({\hat{\theta}})-\theta)$ outside of it (trick 1).
The term $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ is solved (as equal to zero) by using the fact that the variable $\hat{\theta} -\mathbb{E}(\hat{\theta})$ has mean zero (trick 2).

— Sextus Empiricus
kaynak

$E(\hat{\theta}) - \theta$ is not a constant.

The comment of @user1158559 is actually the correct one:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— little_monster
kaynak

I don't see what you are trying to show. Also the bias may not be zero but that does not mean that it isn't a constant.

— Michael R. Chernick

It is not a constant because

\hat{θ} = f (D)

$\hat{\theta} = f(D)$ where

D

$D$ is a given training data, which is also a random variable. Thus, its expectation is not a constant.

— little_monster

Also, the fact that it is not a constant or not cannot explain how step 4 is possible from step 3. On the other hand, the comment of @ user1158559 explains that.

— little_monster

@Michael, there has been confusion about the question. The highlighted part contains this expression

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$ , but in the text of the question it is mentioned that it is instead about the change from the third line to the fourth line, changing the nesting of expectations.

— Sextus Empiricus