olduğunda ortalama için güven aralığının yaklaşık hatası

Let $\{X_i\}_{i=1}^n$ değerleri alınarak Rasgele değişkenlerin bir ailesi $[0,1]$ bir ortalama sahip olan, $\mu$ ve varyans $\sigma^2$ . Ne zaman bilinirse kullanılarak ortalama için basit bir güven aralığı P ( | ˉ X - μ | > ε ) ≤ σ $\sigma$

$$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$$

Ayrıca, çünkü asimptotik olarak standart bir normal rasgele değişken olarak dağıtılır, normal dağılım bazen yaklaşık bir güven aralığını "oluşturmak" için kullanılır.$\frac{\bar X- \mu}{\sigma/\sqrt{n}}$

---

Çoktan seçmeli cevap istatistik sınavlarında, n = 30 olduğunda yerine bu yaklaşımı kullanmak zorunda kaldım . Yaklaştırma hatası ölçülmediği için bu konuda (hayal edebileceğinizden daha fazla) her zaman çok rahatsız oldum.$(1)$$n \geq 30$

---

• Neden yerine normal yaklaşımı kullanıyorsunuz ?$(1)$

• Bir daha asla kuralını körü körüne uygulamak istemiyorum . Beni reddederek beni destekleyebilecek ve uygun alternatifler sunabilecek iyi referanslar var mı? ( ( 1 ) uygun bir alternatif olarak gördüğüm şeyin bir örneğidir.)$n \geq 30$$(1)$

Burada, ve E [ | X | 3 ] bilinmiyor, kolayca sınırlandırılıyor.$\sigma$$E[ |X|^3]$

Sorumun özellikle güven aralıklarıyla ilgili bir referans isteği olduğunu ve bu nedenle burada ve burada kısmi kopyalar olarak önerilen sorulardan farklı olduğunu lütfen unutmayın . Orada cevaplanmadı.

Neden normal yaklaşım kullanılır?

Daha az bilgiden daha fazla bilgi kullanmanın her zaman daha iyi olduğunu söylemek kadar basittir. Denklem (1) Chebyshev teoremini kullanır . Dağıtımınızın şekli hakkında herhangi bir bilgiyi nasıl kullanmadığını, yani belirli bir varyansı olan herhangi bir dağıtım için işe yaradığını unutmayın. Bu nedenle, dağıtımınızın şekli hakkında bazı bilgiler kullanırsanız, daha iyi bir yaklaşım elde etmelisiniz. Dağıtımınızın Gauss olduğunu biliyorsan, bu bilgiyi kullanarak daha iyi bir tahmin elde edersin.

Zaten merkezi limit teoremini uyguladığınızdan, neden sınırların Gauss yaklaşımını kullanmıyorsunuz? Aslında daha sıkı (veya daha keskin) olacaklar, çünkü bu tahminler ek bir bilgi parçası olan şekil bilgisine dayanıyor.

Başparmak 30 kuralı, onaylama yanlılığından yararlanan bir efsanedir . Sadece bir kitaptan diğerine kopyalanmaya devam ediyor. Bir keresinde 1950'lerde bir makalede bu kuralı öneren bir referans buldum. Hatırladığım gibi, bu hiçbir şekilde sağlam bir kanıt değildi. Bir çeşit ampirik çalışma idi. Temel olarak, kullanılmasının tek nedeni, bir çeşit çalışma olmasıdır. Sık sık ihlal edildiğini görmüyorsunuz.

GÜNCELLEME Zachary R. Smith ve Craig S. Wells " Merkezi Limit Teoremi ve Örnek Büyüklüğü " başlıklı makaleye bakınız . Farklı dağıtım türleri için CLT'ye yakınlaşma üzerine ampirik bir çalışma sunarlar. Sihirli sayı 30 elbette pek çok durumda işe yaramıyor.

Gerçek değer için bir aralık elde etmek için Chebyshev eşitsizliğini kullanmayla ilgili sorun, size olasılıkla daha düşük bir sınır vermesidir , bu da bazen önemsizdir veya önemsiz olmamak için çok geniş olabilir. güven aralığı. Sahibiz

$$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$$

$$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$$

Örnek büyüklüğüne bağlı olarak, "çok fazla" azalırsak "olasılık sıfırdan büyük" önemsiz cevabı alacağımızı görüyoruz.$\varepsilon$

Bunun dışında ne bu yaklaşımdan elde formu "bir sonuçtur" olasılığı düşen [ ˉ X ± £ ] olduğu eşit veya daha büyük ..."$\mu$$[\bar X \pm \varepsilon]$

Ama diyelim ki bu konuda iyiyiz ve biz rahat edeceğiniz asgari olasılığı. Yani istiyoruz$p_{min}$

$$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$$

Küçük numune boyutları ve yüksek istenen minimum olasılıkla, bu tatmin edici olmayan şekilde geniş bir güven aralığı verebilir. Örneğin ve n = 100 elde ederiz s ≈ 0,316 çevrilmiş olarak OP tedavi değişken için, örneğin farklı olarak, $p_{min} =0.9$$n=100$$\varepsilon \approx .316$için yararlı olamayacak kadar büyük görünen.$[0,1]$

Ancak yaklaşım geçerli ve dağıtımdan bağımsızdır ve bu nedenle yararlı olabileceği durumlar olabilir.

Ayrıca, başka cevapta sözü Vysochanskij-Petunin eşitsizliğini , bu da sürekli unimodal dağılımları tutan ve Chebyshev eşitsizliğini geliştirir.

Kısa cevap, oldukça kötü gidebileceğidir, ancak sadece örnekleme dağılımının bir veya her iki kuyruğu gerçekten şişman ise .

Bu R kodu bir milyon 30 gama dağıtılmış değişken seti oluşturur ve ortalamalarını alır; ortalamanın örnekleme dağılımının neye benzediğini anlamak için kullanılabilir. Normal yaklaşım amaçlandığı şekilde çalışıyorsa, sonuçlar ortalama 1 ve varyans ile yaklaşık normal olmalıdır1/(30 * shape) .

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

Zaman shape1.0, gama dağılımı bir hale üstel dağılım hoş olmayan-normaldir. Bununla birlikte, Gauss olmayan kısımlar çoğunlukla ortalama ve bu yüzden Gauss yaklaşımı o kadar da kötü değil:

Açıkça bazı önyargılar var ve mümkün olduğunda bundan kaçınmak iyi olur. Ama dürüst olmak gerekirse, bu önyargı seviyesi muhtemelen tipik bir çalışmanın karşılaştığı en büyük sorun olmayacaktır.

Bununla birlikte, işler çok daha kötüye gidebilir. İle f(0.01)böyle histogram görünüyor,:

Ortalamadan önce 30 örneklenmiş veri noktasını günlük olarak dönüştürmek çok yardımcı olur:

Genel olarak, uzun kuyruklu dağılımlar (dağılımın bir ya da her iki tarafında) Gauss yaklaşımı güvenilir olmaya başlamadan önce çoğu örneği gerektirir. Gauss yaklaşımının çalışması için asla yeterli veri olmayacak patolojik vakalar bile vardır, ancak muhtemelen bu durumda daha ciddi sorunlarınız olacaktır (çünkü örnekleme dağılımının başlamak için iyi tanımlanmış bir ortalama veya varyansı yoktur) ile).

Chebyshev güven aralığı ile ilgili sorun

$\sigma^2 \le \frac{1}{4}$$\text{Var}(X) \le \mu(1-\mu)$$\mu$

$$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$ $n$$X_i$$\tfrac{1}{4}$, the worst possible case. The theorem implies that $P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$ where $\text{SF}$ is the survival function of the standard normal distribution. In particular, with $\varepsilon = 16$, we get $\text{SF}(16) \approx e^{-58}$ (according to Scipy), so that essentially $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$$ whereas the Chebyshev inequality implies $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$$ Note that I did not try to optimize the bound given in $(*)$, the result here is only of conceptual interest.

---

Comparing the lengths of the confidence intervals

Consider the $(1-\alpha)$-level confidence interval lengths $\ell_Z(\alpha, n)$ and $\ell_C(\alpha, n)$ obtained using the normal approximation ($\sigma = \tfrac{1}{2}$) and the Chebyshev inequality, repectively. It turns out that $\ell_C(\alpha, n)$ is a constant times bigger than $\ell_Z(\alpha, n)$, independently of $n$. Precisely, for all $n$,

$$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$$ where $\text{ISF}$ is the inverse survival function of the standard normal distribution. I plot below the multiplicative constant.

$\hskip 1in$

In particular, the $95\%$ level confidence interval obtained using the Chebyshev inequality is about $2.3$ times bigger than the same level confidence interval obtained using the normal approximation.

---

Using Hoeffding's bound

Hoeffding's bound gives

$$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$$ Thus an $(1-\alpha)$-level confidence interval for $\mu$ is $$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$$ of length $\ell_H (\alpha, n) = 2\varepsilon$. I plot below the lengths of the different confidence intervals (Chebyshev inequality: $\ell_C$; normal approximation ($\sigma = 1/2$): $\ell_Z$; Hoeffding's inequality: $\ell_H$) for $\alpha = 0.05$.

$\hskip 0.5in$

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

If you only want to use variance instead, dropping gaussian approximation, consider Vysochanskij–Petunin inequality over Chebichev's, it needs the assumption of unimodal distribution of the mean, but this is a very safe one with any sample size, I'd say, greater than 2.