Neden bir oran için bir güven aralığı oluşturmak için t-dağılımını kullanmıyoruz?


18

Bilinmeyen popülasyon standart sapması (sd) ile ortalama güven aralığını (CI) hesaplamak için, t dağılımını kullanarak popülasyon standart sapmasını tahmin ediyoruz. Özellikle, CI=X¯±Z95%σX¯ burada σX¯=σn . Ancak, popülasyonun standart sapması hakkında nokta tahminimiz olmadığından, tahminimizCI=X¯±t95%(se)olup, buradase=sn

Buna karşın bir nüfus oranı için, CI hesaplamak için, biz yaklaşık CI=p^±Z95%(se) burada se=p^(1p^)n Resimnp^15ven(1p^)15

Sorum şu: Niçin nüfus oranı için standart dağılımdan şikayet ediyoruz?


1
Sezgim bunun σ hesaplamayı tamamlamak için örnekten tahmin edilen ikinci bilinmeyen σ değerinin standart hatasını almasıdır. Oran için standart hata, ek bilinmeyenleri içermez.
Monica'yı eski durumuna getirin - G. Simpson

@GavinSimpson İkna edici geliyor. Aslında t dağılımını ortaya koymamızın nedeni, standart sapma yaklaşımını telafi etmek için getirilen hatayı telafi etmektir.
Abhijit

3
Bunu kısmen ikna edici bulmuyorum çünkü dağılımı, Normal dağılımlı örneklerde örnek varyansının ve örnek ortalamasının bağımsızlığından kaynaklanırken, Binom dağılımından gelen örnekler için iki miktar bağımsız değildir. t
whuber

@Abhijit Bazı ders kitapları bu istatistik için bir t-dağılımı kullanır (belirli koşullar altında) - n-1'i df olarak kullanıyor gibi görünürler. Henüz bunun için iyi bir resmi argüman görmeme rağmen, yaklaşım genellikle oldukça iyi çalışıyor gibi görünüyor; kontrol ettiğim vakalar için, normal yaklaşımdan biraz daha iyidir (ancak bunun için t-yaklaşımı eksik olan katı bir asimtotik argüman vardır). [Düzenle: Kendi çeklerim az ya da çok bu tür gösterilere benziyordu; z ve t arasındaki fark, istatistikten farklılıklarından çok daha küçük]
Glen_b -Restate Monica

1
Bu, t'nin neredeyse her zaman daha iyi olması veya belki de bazı özel koşullar altında daha iyi olması gerektiğini belirleyebilecek olası bir argüman olabilir (belki de bir seri genişlemenin erken dönemlerine dayanarak). bu tür bir argüman görmedim. Şahsen ben genellikle z'ye bağlı kalıyorum ama birisi t kullanıyorsa endişelenmiyorum.
Glen_b

Yanıtlar:


20

Hem Standart Normal hem de Student t dağılımları,

Z=p^pp^(1p^)/n

for small n, so poor that the error dwarfs the differences between these two distributions.

Burada üç dağılımları (olgu ihmal bir karşılaştırması; p ya da 1 - p için oran tanımlanmamış sıfır, olan) , n = 10 , p = 1p^1p^n=10,p=1/2:

Figure 1

"Deneysel" dağılımı o Z, tahminler, çünkü farklı olmalıdır s sonlu grubu ile sınırlıdır { 0 , 1 / n , 2 / n , ... , n / n } .p^{0,1/n,2/n,,n/n}.

t dağılımı yaklaşım daha iyi bir iş yapmak gibi görünüyor.

For n=30 ve p=1/2, standart Normal ve Student t dağılımları arasındaki fark tamamen önemsiz görebilirsiniz:

Figure 2

Student t dağılımı standart Normal'den daha karmaşık olduğu için (aslında "serbestlik derecesi" ile endekslenen tüm bir dağılım ailesi, daha önce tek bir sayfa yerine tabloların tamamını gerektiriyordu), standart Normal neredeyse herkes için kullanılır yaklaşımları.


2
Kaliteli cevap. +1
Demetri Pananos

10

T dağılımının güven aralığında bir ortalama için kullanılmasının gerekçesi, temeldeki verilerin normal bir dağılım izlediği varsayımına dayanır, bu da standart sapmayı tahmin ederken ki-kare dağılımına yol açar ve böylece x¯μs/ntn1. Bu, verinin tam olarak normal olduğuvetkullanılırken tam% 95 kapsama alanıvezkullanıldığında%95'in altında kapsama alanına sahip güven aralıklarına yol açtığı varsayımı altında kesin bir sonuçtur.

Oranlar için Wald aralıklarla durumunda, yalnızca için asimptotik normalliği olsun p - pp^pp^(1p^)/n, n, p bağlıdır yeterince büyük vardır. Prosedürün gerçek kapsama olasılığı, altta yatan başarı sayıları ayrı olduğundan, bilinmeyenpbağlı olarak bazen% 95 nominal kapsama olasılığının altında ve bazen üzerindedir. Bu nedenle,tteorik bir gerekçe yokturve pratik bir perspektiftentsadece aralıkları daha geniş yapmak içinkullanmanınaslında% 95 nominal kapsama ulaşmasına yardımcı olacağınıngarantisi yoktur.

Kapsama olasılığı tam olarak hesaplanabilir, ancak simüle etmek oldukça kolaydır. Aşağıdaki örnek n = 35 olduğunda benzetim kapsamı olasılığını gösterir. Z-aralığını kullanma kapsama olasılığının genellikle 0,95'ten biraz daha küçük olduğunu gösterirken, t-aralığı kapsama olasılığının, p'nin makul değerlerine ilişkin önceki inançlarınıza bağlı olarak ortalama olarak 0,95'e daha yakın olabileceğini gösterir. .

enter image description here

enter image description here


3
+1 Bunlar, Student t ve Normal CI'lerin göreceli doğruluğu hakkında yaptığım iddiaların (sadece CDF'lerin grafiklerini incelemeye dayanarak) mükemmel örnekleridir.
whuber

6

Hem AdamO hem de jsk harika bir cevap veriyor.

I would try to repeat their points with plain English:

When the underlying distribution is normal, you know there are two parameters: mean and variance. T distribution offers a way to do inference on the mean without knowing the exact value of the variances. Instead of using actual variances, only sample means and sample variances are needed. Because it is an exact distribution, you know exactly what you are getting. In other words, the coverage probability is correct. The usage of t simply reflects the desire to get around the unknown populuation variance.

Bununla birlikte, orantıda çıkarım yaptığımızda, temeldeki dağıtım binomdur. Kesin dağılımı elde etmek için Clopper-Pearson güven aralıklarına bakmanız gerekir. Sağladığınız formül Wald güven aralığının formülüdür. Binom dağılımını yaklaşıklaştırmak için normal dağılımı kullanır , çünkü normal dağılım binom dağılımının sınırlayıcı dağılımıdır. Bu durumda, sadece tahmin ettiğiniz için, t istatistiklerini kullanmaktan kaynaklanan ekstra hassasiyet seviyesi gereksiz hale gelir, hepsi ampirik performansa dönüşür. BruceET'in cevabında önerildiği gibi, Agresti-Coull bugünlerde bu tür bir yaklaşım için basit ve standart bir formüldür.

Texas A&M profesörüm Dr Longnecker, binom tabanlı CI ile karşılaştırıldığında farklı yaklaşımların nasıl çalıştığını göstermek için basit bir simülasyon yaptı.

Comparison of Various 95% C.I.’s for Proportion

Daha fazla bilgi makalesinde bulunabilir bir Binom Oran için Aralık Tahmini yılında İstatistiki Science , Vol. 16, s.101-133, L. Brown, T. Cai ve A. DasGupta. Temel olarak n> = 40 için AC CI önerilir.

enter image description here


3

Confidence interval for normal mean. Suppose we have a random sample X1,X2,Xn from a normal population. Let's look at the confidence interval for normal mean μ in terms of hypothesis testing. If σ is known, then a two-sided test of H0:μ=μ0 against Ha:μμ0 is based on the statistic Z=X¯μ0σ/n. When H0 is true, ZNorm(0,1), so we reject H0 at the 5% level if |Z|1.96.

Then 'inverting the test', we say that a 95% CI for μ consists of the values μ0 that do not lead to rejection--the 'believable' values of μ. The CI is of the form X¯±1.96σ/n, where ±1.96 cut probability 0.025 from the upper and lower tails, respectively, of the standard normal distribution.

If the population standard deviation σ is unknown and estimated by by the sample standard deviation S, then we use the statistic T=X¯μ0S/n. Before the early 1900's people supposed that T is approximately standard normal for n large enough and used S as a substitute for unknown σ. There was debate about how large counts as large enough.

Eventually, it was known that TT(ν=n1), Student's t distribution with n1 degrees of freedom. Accordingly, when σ is not known, we use X¯±tS/n, where ±t cut probability 0.025 from the upper and lower tails, respectively, of T(n1).

[Note: For n>30, people have noticed that for 95% CIs t21.96. Thus the century-old idea that you can "get by" just substituting S for σ when σ is unknown and n>30, has persisted even in some recently-published books.]

Confidence interval for binomial proportion. In the binomial case, suppose we have observed X successes in a binomial experiment with n independent trials. Then we use p^=X/n as an estimate of the binomial success probability p. In order to test H0:p=p0 vs Ha:pp>0, we use the statitic Z=p^p0p0(1p0)/n. Under H0, we know that ZaprxNorm(0,1). So we reject H0 if |Z|1.96.

If we seek to invert this test to get a 95% CI for p, we run into some difficulties. The 'easy' way to invert the test is to start by writing p^±1.96p(1p)n. But his is useless because the value of p under the square root is unknown. The traditional Wald CI assumes that, for sufficiently large n, it is OK to substitute p^ for unknown p. Thus the Wald CI is of the form p^±1.96p^(1p^)n. [Unfortunately, the Wald interval works well only if the number of trials n is at least several hundred.]

More carefully, one can solve a somewhat messy quadratic inequality to 'invert the test'. The result is the Wilson interval. (See Wikipedia.) For a 95% confidence interval a somewhat simplified version of this result comes from defining nˇ=n+4 and pˇ=(X+2)/nˇ and then computing the interval as pˇ±1.96pˇ(1pˇ)nˇ. This style of binomial confidence interval is widely known as the Agresti-Coull interval; it has been widely advocated in elementary textbooks for about the last 20 years.

In summary, one way to look at your question is that CIs for normal μ and binomial p can be viewed as inversions of tests.

(a) The t distribution provides an exact solution to the problem of needing to use S for σ when σ is unknown.

(b) Using p^ for p requires some care because the mean and variance of p^ both depend on p. The Agresti-Coull CI provides one serviceable way to get CIs for binomial p that are reasonably accurate even for moderately small n.


2

Note your use of the σ notation which means the (known) population standard deviation.

The T-distribution arose as an answer to the question: what happens when you don't know σ?

He noted that, when you cheat by estimating σ from the sample as a plug-in estimator, your CIs are on average too narrow. This necessitated the T-distribution.

Conversely, if you use the T distribution when you actually do know σ, your confidence intervals will on average be too wide.

Also, it should be noted that this question mirrors the answer solicited by this question.


2
The pseudonym Gosset published under was "Student" not "Student-T". He also didn't actually come up with the standard t-distribution itself, nor was the statistic he dealt with actually the t-statistic (he did equivalent things, essentially dealing with a scaled t, but almost all the formalism we have now comes from Fisher's work). Fisher wrote the statistic the way we write it. Fisher called it the t. Fisher formally derived the distribution of the statistic (showing Gosset's combination of algebra, intuition and accompanying simulation-argument about his version of the statistic was correct)
Glen_b -Reinstate Monica

1
See Gosset's 1908 paper here: archive.org/details/biometrika619081909pear/page/n13 - there's also a nice readable pdf of the paper redone in LaTeX here. Note that this is out of copyright since it comes more than a few years before Steamboat Willie.
Glen_b -Reinstate Monica

@Glen_b Thanks! I deleted the apparently wrong anecdotes to history.
AdamO
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.