Bir Gauss dağılımında MLE Varyansın önyargılı olduğunu nasıl anlayabilirim?

Bir Gauss varyansını belirlemek için maksimum olasılık kullanmada yanlılığın nasıl ortaya çıktığını gösteren PRML çizimi

PRML okuyorum ve resmi anlamıyorum. Resmi anlamak için bazı ipuçları verebilir misiniz ve bir Gauss dağılımındaki MLE varyansının neden taraflı olduğu?

formül 1.55: formül 1.56

μ_{M L E} = \frac{1}{N} \sum_{n = 1}^{N} x_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{M L E}^{2} = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - μ_{M L E})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— ningyuwhut
kaynak

Lütfen kendi kendine çalışma etiketini ekleyin.

— StatsStudent

neden her grafik için sadece bir mavi veri noktası bana görünür? btw, bu yazıdaki iki abonenin taşmasını düzenlemeye çalışırken, sistem "en az 6 karakter" gerektiriyor ... utanç verici.

— Zhanxiong

Gerçekten neyi anlamak istiyorsunuz, resim veya MLE varyans tahmininin neden taraflı olduğu? Birincisi çok kafa karıştırıcı ama ikincisini açıklayabilirim.

— TrynnaDoStat

Evet, yeni sürümde buldum her grafikte iki mavi veri var, benim pdf eski

— ningyuwhut

@TrynnaDoStat sorum için üzgünüm net değil. bilmek istediğim, MLE varyans tahmininin neden taraflı olduğu. ve bunun bu grafikte nasıl ifade edildiği

— ningyuwhut

Sezgi

Önyargı, "hiç bir teknik terimden değil", nin için önyargılı olduğu gerçeğidir . Doğal soru şudur: " nin için neden taraflı olduğu sezgisi nedir?" Sezgi olmayan bir kare örnek ortalamada, bazen gerçek değeri özledim ki yetersiz tahmin ederek bazen aşırı tahmin tarafından. Ancak, karesi olmadan, aşırı tahmin ve eksik tahmin eğilimi birbirini iptal edecektir. Ancak, karesini tahmin ettiğimizde , az tahmin etme eğilimi ( gerçek değerini kaçırmayın) $E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ negatif bir sayı ile) de karelenir ve böylece pozitif olur. Bu nedenle, artık iptal edilmez ve aşırı tahmin etme eğilimi hafiftir.

Eğer için neden taraflı olduğu sezgisi hala belirsizse, Jensen eşitsizliğinin ( burada sezgisel iyi bir açıklama ) arkasındaki sezgiyi anlamaya çalışın ve bunu . $x^2$ $\mu^2$ $E[x^2]$

Bir iid örneği için MLE varyansının taraflı olduğunu kanıtlayalım. Sonra analitik olarak sezgimizi doğrulayacağız.

Kanıt

Let . $\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Biz göstermek istiyorum . $E[\hat{\sigma}^2] \neq \sigma^2$

E [{\hat{σ}}^{2}] = E [\frac{1}{N} \sum_{n = 1}^{N} (x_{n} - \bar{x})^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} (x_{n}^{2} - 2 x_{n} \bar{x} + {\bar{x}}^{2})] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

Gerçeğini kullanarak o ve , $\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2}] - E [{\bar{x}}^{2}] = \frac{1}{N} \sum_{n = 1}^{N} E [x_{n}^{2}] - E [{\bar{x}}^{2}] = E [x_{n}^{2}] - E [{\bar{x}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

'nin aynı dağılımdan gelmesi nedeniyle boyunca eşit olması nedeniyle aşağıdaki son adımla . $E[x_n^2]$ $n$

Şimdi, yazan varyans tanımını hatırlayın . Buradan aşağıdakileri alıyoruz $\sigma^2_x = E[x^2] - E[x]^2$

E [x_{n}^{2}] - E [{\bar{x}}^{2}] = σ_{x}^{2} + E [x_{n}]^{2} - σ_{\bar{x}}^{2} - E [x_{n}]^{2} = σ_{x}^{2} - σ_{\bar{x}}^{2} = σ_{x}^{2} - V a r (\bar{x}) = σ_{x}^{2} - V a r (\frac{1}{N} \sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

çıkarırken sabitini uygun şekilde kareye aldığımıza dikkat edin . Buna özellikle dikkat edin! $\frac{1}{N}$ $Var()$

σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} N σ_{x}^{2} = σ_{x}^{2} - \frac{1}{N} σ_{x}^{2} = \frac{N - 1}{N} σ_{x}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

ki bu elbette eşit değildir . $\sigma_x^2$

Sezgimizi Analitik Olarak Doğrulayın

değerini bildiğimizi ve yukarıdaki kanıtlara takarak sezgiyi doğrulayabiliriz . Artık bildiğimizden , artık tahmin etme ihtiyacımız yok ve bu yüzden bunu asla ile aşırı tahmin etmiyoruz . Bunun önyargıyı "kaldırdığını" görelim . $\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

Let . $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Yukarıda ispat kaynaktan, en çekme kadar izin değiştirilmesi gerçek değeri ile . $E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

E [x_{n}^{2}] - E [μ^{2}] = E [x_{n}^{2}] - μ^{2} = σ_{x}^{2} + E [x_{n}]^{2} - μ^{2} = σ_{x}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

bu tarafsız!

— TrynnaDoStat
kaynak

+1 Gösterinizin Gauss dağılımına sahip olmasını gerektirmediğini belirtmekte var. (Ancak, diğer dağılımlar için örnek varyans varyans parametresi için MLE olmayabilir.)

X

$X$

— whuber

Açıklaman için teşekkürler. Anlamak için biraz zamana ihtiyacım var.Ayrıca, denklemlerde bir hata buldum. Doğrulayabilir misin? Teşekkürler!

— ningyuwhut

@ whuber - "..demonstration, Gauss dağılımına sahip olmasını gerektirmediğinden emin değilsiniz ." Binom dağılımının her dağıtım için ML varyans çözümünden söz etmeyeceğiz. Dolayısıyla dolaylı olarak X dağılımının parametrelerden biri olarak varyans olduğunu varsayıyoruz.

X

$X$

— KGhatak