Ortalama kare hatası bir tahmin edicinin diğerine göre göreceli üstünlüğünü değerlendirmek için mi kullanılıyor?

13

Bazı parametre için iki tahmincimiz var ve . Hangi kestiricinin "daha iyi" olduğunu belirlemek için MSE'ye bakıyoruz (ortalama kare hatası)? Başka bir deyişle, bakıyoruz, burada tahmin edicinin önyargısıdır ve tahmin edicinin varyansıdır? Hangisi daha büyük bir MSE'ye sahipse daha kötü bir tahmin edicidir? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Damien
kaynak

10

İki rakip Kestirimciler varsa ve , olsun veya olmasın aldığınızı söyler isimli daha iyi tahmin edici tamamen "en iyi" tanımınıza bağlıdır. Örneğin, tarafsız tahmin edicileri karşılaştırırsanız ve "daha iyi" ile daha düşük bir varyansa sahipseniz, evet, bu daha iyi olduğu anlamına gelir . En Küçük Kareler ve Gauss log-olasılık ile bağlantısı nedeniyle popüler bir kriterdir, ancak, birçok istatistiksel kriter gibi, bir kullanarak uyarılmalıdır $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$

M S E

$\rm MSE$ körü körüne, uygulamaya dikkat etmeden tahmin edicinin kalitesinin bir ölçüsüdür.

yi en aza indirmek için bir tahminci seçmenin özellikle yapılması mantıklı bir şey olmayabileceği bazı durumlar vardır . İki senaryo akla geliyor: ${\rm MSE}$

Bir veri kümesinde çok büyük aykırı değerler varsa, MSE'yi büyük ölçüde etkileyebilir ve dolayısıyla MSE'yi en aza indirgeyen tahminci bu aykırı değerlerden aşırı derecede etkilenebilir. Bu gibi durumlarda, bir tahmin edicinin MSE'yi en aza indirmesi gerçeği size çok fazla şey söylemez, çünkü aykırı değerleri kaldırırsanız çok farklı bir tahmin elde edebilirsiniz. Bu anlamda MSE, aykırı değerlere karşı "sağlam" değildir. Regresyon bağlamında, uzun kuyruklu hatalar olduğunda farklı bir kriter fonksiyonunu (kare hata ile mutlak hata arasındaki bir karışım) minimize eden Huber M-Tahmincisi'ni (bu cevapta tartıştığım) motive eden şey budur. .
Sınırlı bir parametre tahmin ediyorsanız, karşılaştırmak uygun olmayabilir, çünkü bu durumda fazla ve az tahmin cezalandırır. Örneğin, bir varyans tahmini yaptığınızı varsayalım, . O zaman, eğer bilinçli olarak hafife alırsanız en fazla , aşırı tahmin ise aşan bir , hatta belki de sınırsız bir miktarda üretebilir . $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

Bu dezavantajı daha açık hale getirmek için, bu sorunlar nedeniyle, tahmincisi kalitesinin uygun bir ölçüsü olmayabilir ne zaman somut bir örnek vereceğim . $\rm MSE$

serbestlik derecesine sahip bir dağılımından örnek ve varyansı tahmin etmeye çalıştığımızı varsayalım , . İki rakip tahmin edicileri göz önünde bulundurun: ve Açıkça ve kullanılarak türetilebilir $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$ aslında bu iplik tartışılan ve özellikleri -Dağıtım

t

$t$ . Böylece, saf tahmin edici , örnek boyutuna bakılmaksızın, ne olursa olsun , açısından daha iyi performans gösterir $\rm MSE$ $\nu < 4$ . Ayrıca zaman geride , ancak bu çok küçük örnek boyutları için de uygundur. Yukarıdakiler, dağılımının küçük serbestlik dereceli uzun kuyruklu doğası nedeniyle olur , bu da nin çok büyük değerlere yatkın olmasını sağlar ve aşırı tahmin için ağır ceza verirken

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$ bu sorunu yaşamıyor.

Buradaki sonuç, bu senaryoda uygun bir ölçü tahmincisi performansı olmamasıdır $\rm MSE$ . Bu açıktır çünkü açısından egemen olan tahminler saçmadır (özellikle gözlemlenen verilerde herhangi bir değişkenlik olması durumunda doğru olma şansı olmadığından). Belki (Casella ve Berger tarafından sivri out gibi) daha uygun bir yaklaşım varyans tahmin edicisi, seçim olacaktır o en aza indirir Stein'ın Kaybı: $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

bu da hafife almayı, fazla tahmin için eşit derecede cezalandırır. Ayrıca :) 'den $S(\hat \theta_1)=\infty$

— Makro
kaynak

(+1) Güzel tartışma. Adil olmak gerekirse, muhtemelen diğer kriterler (diğer kayıp fonksiyonları) için ve buna karşı da benzer argümanların yapılabileceği belirtilmelidir.

— MånsT

2

Normalde, tahminciler , beklenen kaybı parametrelere göre çizen risk fonksiyonlarına bakarak değerlendirir . Burada, parametreleri sabitleyerek yanıltıcı bir analiz üretmiş olabilirsiniz. Sonuçta, her zaman aptal (sabit, veri cahil) bir tahmin edicinin çok düşük beklenen kayıp üretebilmesi söz konusudur: sadece doğru parametreye eşit olarak ayarlayın! Bu bana simülasyonun burada gerçekten ne gösterdiğini merak ediyor.

— whuber

@whuber, bu cevabı analitik olarak vermek için değiştirdim, bu da belki daha açık hale getiriyor. Daha uygun olabilecek alternatif bir kayıp fonksiyonu da sundum.

— Makro

+1 Çok daha iyi ve çok ilginç! Bence "endişe verici" yönü seyircinin gözünde olabilir. Nu'dan önce bazı Bayes'leri yapıştırma eğiliminde olan herkes için bu sonuç ayıltıcı olmalıdır. Ayrıca, bazılarımız için kayıp seçimi önceliklidir ve diğer birçok noktanın yerini almalıdır: müşterinizin değerleri ve hedefleri kaybı belirler ve bu da iyi bir tahmin prosedürü seçmenize yardımcı olur. Bir tahmin prosedürünü tercih etmek ve daha sonra bu prosedürün işe yaraması için bir kayıp teklif etmek faydalı bir uygulamadır, ancak kesinlikle istatistiksel problemleri nasıl çözdüğüne dair bir paradigma olarak kabul edilemez!

ν

$\nu$

— whuber

2

MSE, kare hata kaybı fonksiyonu riskine (beklenen kayıp) karşılık gelir . Kareli hata kaybı fonksiyonu çok popülerdir, ancak birçoğunun sadece bir seçimi. Açıkladığınız prosedür, kare hata kaybı altında doğrudur; soru, sorunun sizin için uygun olup olmadığıdır. $L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
kaynak

2

Fonksiyon için türevlenebilir, bu daha kolay hem de teorik ve sayısal açıdan en az MSE bulmasını sağlar. Örneğin, normal en küçük karelerde, takılan eğim ve kesişme için açıklığı çözebilirsiniz. Sayısal açıdan bakıldığında, bir türeviniz olduğunda daha verimli çözücüleriniz vardır. $f(x) = x^2$

Ortalama kare hatası bence tipik olarak aykırı değerlerden daha ağırdır. Bu nedenle ortalama mutlak hatayı kullanmak genellikle daha sağlamdır, yanisenin hata fonksiyonu olarak. Ancak, ayırt edilemediği için çözümlerle çalışmayı zorlaştırır. $f(x) = |x|$

Hata terimleri normal olarak dağıtılırsa MSE muhtemelen iyi bir seçimdir. Daha yağlı kuyrukları varsa, mutlak değer gibi daha sağlam bir seçim tercih edilir.

— aprokopiw
kaynak

0

Vaka ve Berger İstatistiksel Çıkarımda 2. baskı, MSE'nin fazla tahmin ve az tahmin için eşit derecede ceza verdiğini ve bu da konum durumunda iyi olduğunu belirtmektedir. Bununla birlikte, ölçek durumunda, 0 doğal bir alt sınırdır, bu nedenle tahmin problemi simetrik değildir. Bu durumda MSE kullanımı hafife alınmayı affetme eğilimindedir.

Hangi tahmin edicinin UMVUE özelliklerini karşıladığını kontrol etmek isteyebilirsiniz, bu da Cramer-Rao Alt sınırını kullanmak anlamına gelir. Sayfa 341.

— Tu.2
kaynak