Neden yeterli bir istatistik, parametrenin herhangi bir tahminini hesaplamak için gerekli tüm bilgileri içerir?

İstatistik okumaya yeni başladım ve sezgisel bir yeterlilik anlayışı elde edemiyorum. Daha kesin olmak gerekirse, aşağıdaki iki paragrafın eşdeğer olduğunu nasıl göstereceğimizi anlayamıyorum:

Kabaca, bilinmeyen bir parametre conditioned üzerinde koşullandırılmış bağımsız özdeş dağıtılmış veri seti X verildiğinde, yeterli bir istatistik, değeri parametrenin herhangi bir tahminini hesaplamak için gereken tüm bilgileri içeren bir T (X) işlevidir.

T (X) istatistiği, T (X) istatistiği göz önüne alındığında, X verisinin koşullu olasılık dağılımı the parametresine bağlı değilse, parameter temel parametresi için yeterlidir.

(Alıntıları Yeterli istatistikten aldım )

İkinci ifadeyi anlasam da, belirli bir istatistiğin yeterli olup olmadığını göstermek için çarpanlara ayırma teoremini kullanabilsem de, böyle bir özelliğe sahip bir istatistiğin neden herhangi bir özelliği hesaplamak için gerekli tüm bilgileri içerdiğini anlayamıyorum. % s "parametresinin tahmini". Anlayışımı düzeltmek için yine de yardımcı olacak resmi bir kanıt aramıyorum, iki ifadenin neden eşdeğer olduğunu sezgisel bir şekilde açıklamak istiyorum.

Özetlemek gerekirse, sorularım: iki ifade neden eşdeğerdir? Birisi denkliği için sezgisel bir açıklama yapabilir mi?

sufficient-statistics

— gcoll
kaynak

Ana sezgisel fikir, bazen tüm örneği görmenize gerek olmamasıdır, çünkü örnekten gerekli olan tüm bilgileri özetleyen bir istatistik bulabilirsiniz. Örneğin, bir binom dağılımını ele alalım: modeliniz için bilmeniz gereken tek şey başarıların toplamıdır. Size tüm örneklenmiş değerler kümesini

göstermek yerine, yalnızca

olduğunu söylersem değerli bir şey kaybetmezsiniz

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

— mugen

Neden yeterli bir istatistiğe ihtiyacım olduğunu ve bir Bernoulli sürecindeki başarıların toplamının p için yeterli bir istatistik olduğunu nasıl göstereceğimi anlıyorum. Ne anlamıyorum ikinci paragrafta açıklanan gibi bir istatistik neden parametre herhangi bir tahmin hesaplamak için gerekli tüm bilgileri içeriyor olmasıdır.

— gcoll

Açıkçası, ilk tırnak sadece yanlıştır. Veri kümesinin tamamından hesaplanabilecek ve sadece yeterli istatistiklerle hesaplanamayan birçok tahminci vardır. Teklifin "kabaca" başlamasının bir nedeni budur. Başka bir neden de "bilgi" nin nicel veya titiz bir tanımını vermemesidir. Bununla birlikte, önceki paragrafta çok daha doğru (ama yine de sezgisel) bir karakterizasyon verildiğinden, bu alıntıda uygun bağlamda

— whuber

Maksimum olasılıkla bağlantısı vardır ve esasen maksimum olasılıkta ihtiyaç duyulan bilgilerdir

— Kamster

Whuber ve @Kamster'ın yorumlarının ardından muhtemelen daha iyi bir anlayışım oldu. Yeterli bir istatistiğin, parametrenin herhangi bir tahminini hesaplamak için gerekli tüm bilgileri içerdiğini söylediğimizde, aslında maksimum olabilirlik tahmincisini hesaplamanın yeterli olduğu anlamına mı geliriz (ki bu, tüm yeterli istatistiklerin bir fonksiyonudur)? Bu doğrudur, meselenin tümü, whuber'ın önerdiği gibi, "bilgi" nin (olmayan) tanımıyla ilgiliydi ve soruma cevap verildi.

— gcoll

Yanıtlar:

@Whuber ve @Kamster'ın yorumlarının ardından muhtemelen daha iyi anladım. Yeterli bir istatistiğin, parametrenin herhangi bir tahminini hesaplamak için gereken tüm bilgileri içerdiğini söylediğimizde, aslında kastettiğimiz, maksimum olabilirlik tahmincisini (tüm yeterli istatistiklerin bir fonksiyonu olan) hesaplamanın yeterli olduğudur.

Kendi sorumu yanıtladığım ve bu yüzden cevabın% 100 emin olmadığım göz önüne alındığında, bir geri bildirim alana kadar doğru olarak işaretlemeyeceğim. Yanlış / kesin olmayan / vb. Olduğumu düşünüyorsanız lütfen herhangi bir yorum ve aşağı oy ekleyin ...

(Bu SE görgü kuralları ile uyumlu değilse, bana bildirin, bu benim ilk sorum olmak, herhangi bir kuralı ihlal edersem merhametinize yalvarıyorum)

— gcoll
kaynak

Yeterlilik üzerine çalışırken, sorunuza rastladım çünkü aynı zamanda topladığım şeyden gelen bu sezgiyi de anlamak istedim (ne düşündüğünüzü söyleyin, herhangi bir hata yaptım, vb.).

Let ortalama bir Poisson dağılımından rasgele örneklem olmak . $X_1,\ldots,X_n$ $\theta>0$

$T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

$A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

$A$ $B$

$x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$

$\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$

Bunun anlamı hakkında biraz niyet kazanmak için aşağıdakileri yapalım (Hogg & Mckean & Craig'in "Matematiksel İstatistiklere Giriş", 7. baskı, alıştırma 7.1.9'dan alınmıştır):

$B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

$Y=\sum Z_i$ $n \theta$ $y$ $n$ $1/n$ $B$ $y$ $z_1,\ldots,z_n$

Alıştırma bunu belirtir. Öyleyse tam olarak şunu yapalım:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

$Z$ $k=0,1,\ldots,13$

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

$\theta$ $Y=\sum X_i$ Poisson (4) dağılımına çok benzeyen bir "dağıtım" elde edebildik ( $n$ iki eğri daha benzer hale gelir).

Şimdi, $X$ ve $Z|y$ :

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

Bunların da oldukça benzer olduğunu görüyoruz (beklendiği gibi)

Dolayısıyla, "istatistiksel bir karar vermek amacıyla, bireysel rastgele değişkenleri göz ardı edebiliriz. $X_i$ ve kararı tamamen $Y=X_1+X_2+\cdots+X_n$ "(Ash, R." İstatistiksel Çıkarım: Kısa bir kurs ", sayfa 59).

— Gus_est
kaynak

Yardımcı olabilecek başka bir bakış açısı sunayım. Bu aynı zamanda niteldir, ancak Markov özelliği olarak bilinen Bilgi Teorisinde özellikle önemli olan titiz bir versiyonu vardır.

Başlangıçta iki nesnemiz var, veriler (Rastgele Değişkenden geliyor, X olarak adlandırın) ve parametre, $\theta$ (tahmincisi hakkında konuştuğumuzdan dolaylı olarak kabul edilen başka bir rv). Bu ikisinin bağımlı olduğu varsayılır (aksi takdirde birini diğerinden tahmin etmeye çalışmanın bir anlamı yoktur). Şimdi, üçüncü nesne oyuna giriyor, Yeterli İstatistik, T. T'yi tahmin etmek için yeterli olduğunu söylediğimizde sezgisel fikir $\theta$ Gerçekten, eğer T'yi (yani T üzerinde koşullandırılmış) bilirsek, X hiçbir ek bilgi sağlamaz, yani X ve $\theta$ bağımsızdır. Başka bir deyişle, X bilgisi, tahminine göre T bilgisine eşdeğerdir. $\theta$ endişelendi. Olasılıklarda tüm belirsizliklerin yakalandığı ve dolayısıyla (koşullu) olasılıklar bağımsız olduğunda (örneğin koşullu yoğunluklar çarpanlara ayrıldığında) “herhangi bir tahminin” bulunduğunu unutmayın.

— Mehdi
kaynak