Tarafsız bir tahmin edicisi oluşturmak imkansız olarak bir istatistikte tamlığı tanımlayan arkasında sezgi nedir ondan?

Klasik istatistiklerinde, bir istatistik bir tanımı yoktur verileri bir dizi için tam olarak tanımlanmış bir parametre bu tarafsız bir tahmincisi oluşturulması imkansız nontrivially ondan. Yani, tüm \ theta için E h (T (y)) = 0'a sahip olmanın tek yolu , h'nin neredeyse kesin olarak 0 olmasıdır .$T$$y_1, \ldots, y_n$$\theta$$0$$E h(T (y )) = 0$$\theta$$h$$0$

Bunun arkasında bir sezgi var mı? Bunu tanımlamanın oldukça mekanik bir yolu gibi görünüyor, bunun daha önce sorulduğunun farkındayım, ancak giriş öğrencilerinin materyali sindirmek için daha kolay bir zaman geçirmelerini sağlayacak çok kolay bir sezgi olup olmadığını merak ediyordum.

Diğer cevaba eklemeye çalışacağım. Birincisi, bütünlük esas olarak onu kullanan teoremler tarafından gerekçelendirilen teknik bir durumdur. Öyleyse, ortaya çıktıkları bazı ilgili kavram ve teoremlerle başlayalım.

Let $X=(X_1,X_2,\dotsc,X_n)$ bir dağıtım sahip olarak modeli IID veriler, bir vektör temsil $f(x;\theta), \theta \in \Theta$ parametre burada $\theta$ verileri yöneten bilinmemektedir. $T=T(X)$ olan yeterli koşullu dağılımı eğer $X \mid T$ parametre bağlı değildir $\theta$ . $V=V(X)$ olanyardımcıdağılımı eğer$V$ bağlı değildir$\theta$ (aile içindeki$f(x;\theta)$ ). $U=U(X)$ , θ ne olursa olsun, beklentisisıfırisesıfırın tarafsız bir tahmincisidir. S = S ( X ) a,tam istatistikgöre sıfır herhangi tarafsız tahmin ise S , olduğu, özdeş olarak sıfırsa e g ($\theta$$S=S(X)$$S$$\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ sonra$g(S)=0$ ae (tüm$\theta$ ).

Şimdi, iki farklı yansız tahminler olduğunu varsayalım $\theta$ yeterli istatistik dayalı $T$ , $g_1(T), g_2(T)$ . Yani, E g 1 ( T ) = θ sembollerinde ,

Bazı örneklere bakalım. Diyelim ki $X_1, \dotsc, X_n$ şimdi aralıkta eşittir $(\theta, \theta+1)$ . ( $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ sipariş istatistikleri) çiftini $(X_{(1)}, X_{(n)})$ yeterli olduğunu gösterebiliriz , ancak tam değildir, çünkü fark $X_{(n)}-X_{(1)}$ yardımcıdır, beklentisini hesaplayabiliriz,$c$(sadece$n$bir fonksiyonu olan) olsun ve sonra$X_{(n)}-X_{(1)} -c$sıfırın tarafsız bir tahmincisi olacak ki bu sıfır değildir. Bu nedenle, yeterli istatistiğimiz, bu durumda, tam ve yeterli değildir. Hakkında bilgilendirici olmayan yeterli istatistik fonksiyonları vardır vardır: Ve biz aracının görebilirsiniz$\theta$(model bağlamında). Bu, yeterli bir istatistik ile olamaz; hiçbir anlamda bilgi verici olmadığı için bir anlamda maksimum bilgilendiricidir. Öte yandan, beklentileri sıfır olan, gürültü terimi olarak görülebilecek minimal düzeyde yeterli istatistiğin bir işlevi varsa , modellerde bozulma / gürültü terimleri beklentisi sıfırdır. Dolayısıyla, tam olmayan yeterli istatistiklerin biraz gürültü içerdiğini söyleyebiliriz .

Bu örnekteki $R=X_{(n)}-X_{(1)}$ aralığına tekrar bakın . Dağılımı $\theta$ bağlı olmadığından , tek başına $\theta$ hakkında herhangi bir bilgi içermez . Ancak, yeterli istatistikle birlikte, öyle! Nasıl? O zaman $R=1$ gözlemlendiği duruma bakalım, o zaman (gerçek olduğu bilinen) modelimizde, $\theta$ ! Şöyle ki, kesinlik bununla söyleyebiliriz $\theta = X_{(1)}$ . Θ için başka bir değer olup olmadığını kontrol edebilirsiniz.$\theta$daha sonra varsayılan model altında $X_{(1)}$ veya $X_{(n)}$ nin imkansız bir gözlem olmasına yol açar . Öte yandan, $R=0.1$ gözlemlersek , $\theta$ için olası değerler aralığı oldukça büyüktür (egzersiz ...).

Bu anlamda, yardımcı istatistik $R$ , bu verilere ve modele dayanarak $\theta$ tahmin edebileceğimiz kesinlik hakkında bazı bilgiler içerir . Bu örnekte ve diğerlerinde, yardımcı istatistik $R$ "örneklem büyüklüğünün rolünü üstlenir". Genellikle, güven aralıkları ve bu tür örneklem $n$ boyutuna ihtiyaç duyar , ancak bu örnekte, bunun n (egzersiz değil) değil sadece R kullanılarak hesaplandığı koşullu bir güven aralığı yapabiliriz . bazı yardımcı istatistikler.$R$$n$

Şimdi, Basu'nun teoremi: $T$ yeterince tamamlanırsa, herhangi bir yardımcı istatistikten bağımsızdır. Yani, tam bir yeterli istatistiğe dayanan çıkarım daha basittir, çünkü şartlı çıkarım düşünmemize gerek yoktur. $T$ bağımsız bir istatistiğin koşullandırılması elbette hiçbir şeyi değiştirmez.

Sonra, biraz daha sezgi vermek için son bir örnek. Tek tip dağıtım örneğimizi aralıktaki $(\theta_1, \theta_2)$ ( $\theta_1<\theta_2$ ) tek tip bir dağılım olarak değiştirin . Bu durumda, istatistik $(X_{(1)}, X_{(n)})$ olup , tam ve yeterince. Ne değişti? Bütünlüğün gerçekten modelin bir özelliği olduğunu görebiliriz. Önceki durumda, sınırlı bir parametre alanımız vardı. Bu kısıtlama, sipariş istatistiklerine ilişkiler getirerek bütünlüğü bozdu. Bu kısıtlamayı kaldırarak tamlık elde ettik! Yani, bir anlamda, eksiksizliğin olmaması, parametre uzayının yeterince büyük olmadığı anlamına gelir ve onu genişleterek tamlığı (ve dolayısıyla daha kolay çıkarım) geri yüklemeyi umabiliriz.

Tamlık eksikliğinin parametre alanındaki kısıtlamalardan kaynaklandığı diğer bazı örnekler,

• cevabımı gör: Fisher bilgisi ne tür bilgiler?

• Let $X_1, \dotsc, X_n$ olmak iid $\mathcal{Cauchy}(\theta,\sigma)$ (yer ölçekli modeli). Sonra sipariş istatistikleri yeterli ama tam değil. Ama şimdi tamamen parametrik olmayan modelde, yine de IID için ancak bazı tamamen belirtilmemiş dağılımından bu modeli büyütmek $F$ . Sonra sipariş istatistikleri yeterli ve eksiksizdir.

• Kanonik parametre alanına sahip üstel aileler için (mümkün olduğunca büyük), yeterli minimum istatistik de tamamlanmıştır. Ancak birçok durumda, eğri üstel ailelerde olduğu gibi, parametre alanı üzerinde kısıtlamalar getirmek , bütünlüğü tahrip eder.

Çok ilgili bir makale, Eksiksizliğin ve Basu Teoreminin Yorumlanmasıdır.

Bazı sezgi en iyi (minimum varyans) tarafsız tahmin ediciler teorisinden elde edilebilir.

Eğer sonra W bir iyi yansız tahmin olduğunu τ ( θ ) IFF W sıfır tüm tarafsız tahminlerin ile ilintisiz olduğunu.$E_\theta W=\tau(\theta)$$W$$\tau(\theta)$$W$

İspat : sıfırın tüm yansız tahmin edicileriyle ilişkisiz tarafsız bir tahminci olsun. W ′ , E θ W ′ = E θ W = τ ( θ ) olacak şekilde başka bir tahminci olsun . Yazma B ' = B + ( B ' - W ) . Varsayımla, V a r θ W ′ = V a r θ W + V a r θ$W$$W'$$E_\theta W'=E_\theta W=\tau(\theta)$$W'=W+(W'-W)$ . Bu nedenle, herhangi W ' , V , bir R θ W ' ≥ V bir R θ W .$Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$$W'$$Var_\theta W'\geq Var_\theta W$

Şimdi en iyi tarafsız tahmin edici olduğunu varsayalım . E θ U = 0 olan başka bir U tahmincisi olsun . ϕ a : = W + a U ayrıca τ ( θ ) için de önemlidir . Biz V bir R θ cp bir : = V , bir R θ W + 2 , bir Cı- o v θ ( W , U ) + bir $W$$U$$E_\theta U=0$$\phi_a:=W+aU$$\tau(\theta)$ Olsaydı bir θ 0 ∈ İçeride ISTV melerin RWMAIWi'nin şekilde Cı- o h θ 0 ( W , U ) < 0 , biz yapılacağı v bir r θ cp bir < V bir r θ W için bir ∈ ( 0 , - 2 ° o v İçeride ISTV melerin RWMAIWi'nin 0 ( W , U ) / V

Sezgisel olarak, sonuç, bir tahmin edicinin optimal olması durumunda, ortalamada sadece sıfır olan bir tahmin ediciyle (sıfırın tarafsız bir tahmincisi olarak) bir anlamda bir miktar gürültü ekleyerek onu iyileştirmenin mümkün olmaması gerektiğini söylüyor. ).

Ne yazık ki, sıfırın tüm tarafsız tahmincilerini karakterize etmek zordur. Herhangi bir istatistiği C o v θ ( W , 0 ) = 0'ı karşıladığından , sıfırın kendisinin sıfırın tek tarafsız tahmincisi olması durumunda durum çok daha basit hale gelir . Bütünlük böyle bir durumu tanımlar.$W$$Cov_\theta(W,0)=0$