Tutarlı olmak için neden bir tahminciye ihtiyacımız var?

16

Sanırım tutarlı bir tahmincinin matematiksel tanımını çoktan anladım. Yanlışsam düzelt:

$W_n$ için tutarlı tahminci olduğunu eğer $\theta$ $\forall \epsilon>0$

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta$

Burada $\Theta$ Parametrik Boşluktur. Fakat bir tahmin edicinin tutarlı olması gerektiğini anlamak istiyorum. Tutarlı olmayan bir tahminci neden kötüdür? Bana birkaç örnek verebilir misiniz?

R veya python'daki simülasyonları kabul ediyorum.

estimation consistency

— Dostum
kaynak

4

Tutarlı olmayan bir tahminci her zaman kötü değildir. Örneğin tutarsız ama tarafsız bir tahminci ele alalım. Tutarlı Tahmincisi Bkz Wikipedia'nın makale en.wikipedia.org/wiki/Consistent_estimator , Tutarlılık karşı Bias özellikle bölüm

— compbiostats

Tutarlılık kabaca bir tahmin edicinin optimal asimtotik davranışıdır. Uzun vadede gerçek değerine yaklaşan bir tahminci seçiyoruz . Bu sadece olasılıkta bir yakınsama olduğundan, bu iş parçacığı yararlı olabilir: stats.stackexchange.com/questions/134701/… .

θ

$\theta$

— StubbornAtom

1

@StubbornAtom, böyle bir tutarlı tahmin ediciyi "optimal" olarak adlandırmaya dikkat ediyorum, çünkü bu terim tipik olarak bir anlamda verimli tahmin ediciler için de geçerlidir.

— Christoph Hanck

22

Tahmin edici tutarlı değilse , olasılıktaki gerçek değere yaklaşmayacaktır . Başka bir deyişle, kaç veri noktanız olursa olsun, tahmin edicinizin ve gerçek değerinizin bir fark olma olasılığı her zaman vardır. Bu gerçekten kötü, çünkü çok büyük miktarda veri toplasanız bile, tahmininiz her zaman gerçek değerden farklı bir olma olasılığı pozitif olacaktır . Pratik olarak, bu durumu, küçük bir örneklem yerine tüm popülasyonu araştırmak bile size yardımcı olmayacak şekilde bir miktar tahmincisi kullanıyormuş gibi düşünebilirsiniz. $\epsilon>0$

— gunes
kaynak

21

1 serbestlik derecesine sahip Student t dağılımı ile aynı olan standart Cauchy dağılımından gözlemi düşünün . Bu dağılımın kuyrukları, hiçbir anlamı olmadığı kadar ağırdır; dağıtım ortanca ortalanmış $n = 10\,000$ $\eta = 0.$

Bir örnek dizisi, , Cauchy dağılımının merkezi için tutarlı olmadığı anlamına gelir . Kabaca söylersek, zorluk çok ekstrem gözlemler olduğunu (pozitif veya negatif) için hiçbir şansı olmadığını yeterli düzenli olarak devam yaklaşacağı ( yakınsama, onlar sadece yavaş yapacaksın değil hiç dağılımı yine standart Cauchy [ kanıtı ] ' .) $A_j = \frac 1j \sum_{i=1}^j X_i$ $X_i$ $A_j$ $\eta = 0.$ $A_j$ $A_j$

Aksine, devam eden bir örnekleme işleminin herhangi bir adımında, gözlemlerinin yaklaşık yarısı her iki tarafında yer alacaktır böylece örnek medyanların dizisi yaklaşır $X_i$ $\eta,$ $H_j$ $\eta.$

Yakınsama eksikliği yakınsaması ve aşağıdaki simülasyon ile görüntülenmiştir. $A_j$ $H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

İşte Bu aşırı gözlemlerden bazılarının soldaki grafikte (ortalama kırmızı noktalı çizgilerde) çalışma ortalamaları üzerindeki etkisini görebilirsiniz. $|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Tahminde önemli tutarlılık: Cauchy popülasyonundan örneklemede, gözlem örneğinin örnek ortalaması , merkez tahmin etmek için tek bir gözlemden daha iyi değildir. Buna karşılık, tutarlı örnek medyanı daha büyük örnekler daha iyi tahminler üretir. $n = 10\,000$ $\eta$ $\eta,$

— BruceET
kaynak

2

Biraz nitpicking, ancak simülasyonunuz, örnek ortalamanın olasılıkla değil, neredeyse kesinlikle Cauchy merkezine (güçlü ve zayıf tutarlılık) yakınsama başarısızlığını göstermektedir.

— aleshing

9

Yeterince dikkat çekmediğini düşünmediğim tutarlılığı düşünmenin neden önemli olduğuna dair basit bir örnek, aşırı basitleştirilmiş bir modeldir.

Teorik bir örnek olarak, gerçek etkilerin aslında doğrusal olmadığı bazı verilere doğrusal bir regresyon modeli sığdırmak istediğinizi varsayalım. Öyleyse tahminleriniz , tüm değişkenlerin tüm kombinasyonları için gerçek ortalama için tutarlı olamazken, daha esnek olabilir. Başka bir deyişle, basitleştirilmiş modelde daha fazla veri kullanılarak aşılamayan eksiklikler olacaktır.

— Cliff AB
kaynak

1

Bu mutlaka doğru değildir, çünkü doğrusal regresyon modelleri . modelin iyi olduğunu iddia edebilirsiniz, ancak "hata" aslında artıkların normal bir dağılım olduğunu varsayar.

y_{i} = {\hat{y}}_{i} + {\hat{e}}_{i}

$y_i=\hat{y}_i+\hat{e}_i$

— olasılık olasılığı

8

@BruceET zaten mükemmel bir teknik cevap verdi, ama her şeyin yorumlanması hakkında bir nokta eklemek istiyorum.

İstatistikteki temel kavramlardan biri, örneklem büyüklüğümüz arttıkça, temel dağılımımız hakkında daha kesin sonuçlara ulaşabilmemizdir. Bunu, çok sayıda örnek almanın verilerdeki rastgele titremeyi ortadan kaldırdığı fikri olarak düşünebilirsiniz, bu nedenle alttaki yapı hakkında daha iyi bir fikir ediniriz.

Bu damardaki teorem örnekleri çoktur, ancak en iyi bilinen, iid rastgele değişkenler bir ailemiz varsa ve , sonra $(X_i)_{i\in\mathbb{N}} \$ $\mathbb{E}[X_1] < \infty$

\frac{1}{n} \sum_{k = 1}^{n} X_{k} \to E [X] a.s.

$\frac{1}{n} \sum_{k = 1}^n X_k \rightarrow \mathbb{E}[X] \ \ \ \text{a.s.}$

Şimdi, bir tahmincinin tutarlı olmasını istemek, bu kurala da uymasını istemektir: İşi bilinmeyen bir parametreyi tahmin etmek olduğundan , örneğimiz olarak bu parametreye (okuma: bu parametreyi keyfi olarak tahmin edin) dönüştürmesini istiyoruz boyut sonsuzluğa eğilimlidir.

Denklemi

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall ϵ > 0 \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\epsilon > 0\ \forall\theta \ \in \Theta$

değişkenlerinin yönündeki olasılıklarındaki yakınsamadan başka bir şey değildir , yani bir anlamda daha büyük bir örnek bizi gerçek değere yaklaştıracaktır. $W_n$ $\theta$

Şimdi, isterseniz, tam tersine bakabilirsiniz: Eğer bu durum başarısız olursa, sonsuz örnek büyüklüğü ile bile, pozitif genişliğe sahip bir "koridor" olurdu etrafında ve rastgele büyük olasılıkla örnek büyüklüğünde bile, tahmin edicimiz o koridorun dışına düşecektir. Ve bu açık bir şekilde yukarıda bahsedilen fikri ihlal edecektir, bu nedenle tutarlılık, tahmin edicilerin arzu ve uygulama için çok doğal bir durumdur. $[\theta - \varepsilon, \theta + \varepsilon]$ $\theta$

— Marc Vaisband
kaynak