Bir gözlem verilen varyans için Güven Aralığı

Bu, "Olasılık Teorisinde 7. Kolmogorov Öğrenci Olimpiyatı" nın bir sorunu:

Bir gözlem verilen bir gelen her iki parametre bilinmeyen ile dağıtımı için bir güven aralığını elde , en az% 99 güven aralığı ile. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Bana öyle geliyor ki bu imkansız olmalı. Çözüm bende, ancak henüz okumadım. Düşüncesi olan var mı?

Birkaç gün içinde çözümü yollayacağım.

[Takip düzenleme: Resmi çözüm aşağıda yayınlanmıştır. Kardinal çözümü daha uzun, ancak daha iyi bir güven aralığı veriyor. Ayrıca girişleri için Max ve Glen_b'a teşekkürler.]

— Jonathan Christensen
kaynak

Bana da imkansız geliyor; Ben cevabı bekliyor

— Peter FLOM - Eski Monica

Bu siteye göz atın .

— normalde

İşte daha iyi biçimlendirilmiş bir kağıt: kağıt .

— normalde

Heh. Yıllar önce, bu konuda bir makale okuduğumu hatırlıyorum Olabilirdi bu bir.

— Glen_b

@Max, bağlantı için teşekkürler! Daha yakından bakmak için zamanım olmadı, ama yapacağım. Aşağıdaki "resmi" cevabı gönderdim.

— Jonathan Christensen,

Yanıtlar:

Olasılık eşitsizliği ve çoklu gözlem vakasına bağlantıların objektifinden bakıldığında, bu sonuç pek imkansız görünmeyebilir veya en azından daha makul görünebilir.

Let ile ve bilinmeyen. için yazabiliriz . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Ana İddia : a, için güven aralığı olan -seviye miktarsal bir serbestlik derecesine sahip olan bir ki-kare dağılım. Ayrıca, bu aralık olduğunda tam olarak kapsama sahip olduğundan , formun mümkün olan en dar aralığıdır $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ Bazı . $b \in \mathbb R$

İyimserlik için bir neden

Hatırlayın o ile durumunda, , tipik bir için güven aralığı olduğu $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$ Nerede olan ait -seviye quantile bir ki-kare ile serbestlik derecesine. Bu, elbette, herhangi tutan . Buen popüleraralıkolmasına rağmen(açık nedenlerleeşit kuyruklu aralık olarakadlandırılır), ne tek ne de en küçük genişlikte olandır! Görüleceği gibi, başka bir geçerli seçim:

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

, , sonra $T \leq \sum_{i=1}^n X_i^2$ Aynı zamanda en azından bir kapsama sahiptir .

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Bu ışıkta bakıldığında, ana iddiadaki aralığın için doğru olduğu konusunda iyimser olabiliriz . Temel fark, tek bir gözlem için sıfır derece serbestlik dereceli ki-kare dağılımının olmamasıdır, bu nedenle bir serbestlik dereceli kuantile kullanmanın işe yarayacağını ummalıyız. $n = 1$

Hedefimize doğru yarım adım ( Sağ kuyruğun kullanılması )

Ana iddianın bir kanıtına dalmadan önce, ilk önce neredeyse hiç istatistiksel olarak güçlü ya da tatmin edici olmayan bir ön talebe bakalım, ancak neler olup bittiğine dair ek bir fikir verelim. Çok fazla (varsa) zarar vermeden, aşağıdaki ana talebin ispatına atlayabilirsiniz. Bu bölümde ve bir sonraki bölümde, kanıtlar - biraz ince olsa da - sadece temel gerçeklere dayanıyor: olasılıkların tekdüzeliği ve normal dağılımın simetrisi ve tekdüzeliği.

Yardımcı iddia : a, için güven aralığı uzun gibi . Burada , standart bir normalin seviye kuantilidir. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Kanıt . ve böylece daha sonra gelende simetri, biz alabilir genelliği kaybetmeden. Şimdi, ve , $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$ Ve dolayısıyla bu görürüz

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

Bu yalnızca için çalışır

olduğu için gerekeni olduğundan,

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Bu yardımcı iddia kanıtlıyor. Açıklayıcı olsa da, çalışmak için saçma bir büyük gerektirdiğinden, istatistiksel açıdan tatmin edici değildir . $\alpha$

Ana iddiayı kanıtlamak

Yukarıdaki argümanın iyileştirilmesi, keyfi bir güven düzeyi için işe yarayacak bir sonuca yol açar. Öncelikle, olduğuna dikkat edin. Takım ve . Sonra,

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

Biz sağ taraftaki artar gösterebilirse

her sabit için

, o zaman önceki argüman benzer bir argüman kullanabilir. Bu en azından akla yatkın, çünkü ortalamanın artması durumunda

aşan bir modüllü bir değer görmemizin daha muhtemel hale geldiğine inanmak istiyoruz. (Ancak, sol kuyrukta kütlenin ne kadar çabuk azaldığına dikkat etmeliyiz!)

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$

$f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

$a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Bunları çözersek, eğer alırsak $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Kapanış notu : Yukarıdaki argümanın dikkatlice okunması, normal dağılımın sadece simetrik ve tek biçimli özelliklerini kullandığını gösterir. Bu nedenle, yaklaşım, simetrik, tek biçimli bir yer ölçeği ailesi, örneğin Cauchy veya Laplace dağılımları gibi tek bir gözlemden güven aralıkları elde etmek için benzer şekilde çalışır.

— kardinal
kaynak

Vaov! ve Olympiad sınavının kısa sürede öğrencilerin bu tür bir argüman ortaya çıkması bekleniyor?

— Dilip Sarwate

@Dilip: Hiçbir fikrim yok! Bu Olimpiyat formatını veya çözüm açısından ne beklendiğini bilmiyorum. Bir edebi okumadan Scortchi'nin cevabının kabul edilebilir olacağını düşünüyorum. Daha önemsiz bir çözümle birinin ne kadar uzağa gidebileceğini bulmaya çalışmakla daha çok ilgilenmiştim. Kendi (oldukça az miktarda) keşif cevabında açıklanan aynı düşünce trenini izledi (bir servis yolu ile). Daha iyi bir çözüm bulunma olasılığı oldukça yüksek. :-)

— kardinal

Bu, "resmi" çözümden çok daha uzundur, ancak varyansa daha iyi bir bağ koyar, bu yüzden onu "doğru" cevap olarak işaretliyorum. Bazı simülasyon sonuçları ve tartışmaların yanı sıra, aşağıda "resmi" cevabı da yayınladım. Teşekkürler, @cardinal!

— Jonathan Christensen,

@Jonathan: Teşekkürler. Evet, ispatı biraz daha kısa tutabilirdim. Buradaki katılımcıların geniş bir arka plan yelpazesi nedeniyle, genellikle fazladan (veya belki de aşırı) ayrıntıya düşkün olma eğilimindeyim. :-)

— kardinal

Takip zamanı! İşte bana verilen çözüm:

Formun güven aralığını oluşturacağız $[0,T(X))$ , nerede $T(\cdot)$ bazı istatistikler var. Tanım gereği bu, en az% 99 güven düzeyinde olan bir güven aralığı olacaktır.
$(\forall μ \in R,) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ Biz yoğunluğuna dikkat edin $\mathcal{N}(\mu,\sigma^2)$ dağıtım aşılmaz $1/\sigma\sqrt{2\pi}$ . Bu nedenle, $\mathbb{P}(|X| \leq a) \leq a/\sigma$ for every $a \geq 0$ . It follows that $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ Plugging in $t = 0.01$ we obtain that the appropriate statistic is $T(X) = 10000X^2.$

The confidence interval (which is very wide) is slightly conservative in simulation, with no empirical coverage (in 100,000 simulations) lower than 99.15% as I varied the CV over many orders of magnitude.

For comparison, I also simulated cardinal's confidence interval. I should note that cardinal's interval is quite a bit narrower--in the 99% case, his ends up being up to about $6300X^2$ , as opposed to the $10000X^2$ in the provided solution. Empirical coverage is right at the nominal level, again over many orders of magnitude for the CV. So his interval definitely wins.

I haven't had time to look carefully at the paper Max posted, but I do plan to look at that and may add some comments regarding it later (i.e., no sooner than a week). That paper claims a 99% confidence interval of $(0,4900X^2)$ , which has empirical coverage slightly lower (about 98.85%) than the nominal coverage for large CVs in my brief simulations.

— Jonathan Christensen
kaynak

(+1) That's a nice solution. Should you have

t \geq \dots

$t \geq \cdots$ instead of

t \leq \dots

$t \leq \cdots$ in the display equation?

— kardinal

A couple more points: Your solution can be made to be very close to mine without any change in the argument. Note that you can claim that

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$ . Then the interval becomes

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$ for any

α

$\alpha$ . Using

α = 0.01

$\alpha = 0.01$ yields

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$ versus the

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$ in my answer. The higher the confidence level (i.e., the smaller the

α

$\alpha$ ), the closer your method compares to mine (though your interval will always be wider).

— kardinal

İkincisi, o makaleye bakmadım, ancak bu konuda şüphelerim var.

(0, 4900 X^{2})

$(0,4900 X^2)$ geçerli bir% 99 güven aralığı olabilir. Aslında, formun tüm güven aralıklarını göz önünde bulundurun

(0, b X^{2})

$(0, b X^2)$ bazı

b

$b$ . Sonra ne zaman

μ = 0

$\mu = 0$ bizde

X^{2} / σ^{2}

$X^2/\sigma^2$ tam olarak bir derece serbestlikle ki kare, yani en küçük

b

$b$ bu durumda seçebiliriz

b = 1 / q_{α}

$b = 1/q_{\alpha}$ . Başka bir deyişle, cevabımda verilen aralık belirtilen formun mümkün olan en darıdır.

— kardinal

(Şüpheli) yazım hatası düzeltmesini yaptım. Ayrıca, pchisq(1/4900,1,lower.tail=F)içinde Riadeler 0.9886, oldukça yakın Simülasyonunuzda sonuçlarına ilişkin

(0, 4900 X^{2})

$(0,4900X^2)$ Aralık.

— kardinal

Tüm yorumlar için teşekkürler, @ cardinal. Sanırım değişimin doğru, orijinal çözümlerde olduğu gibi yazmış olmama rağmen - orada yazım hatası, sanırım.

— Jonathan Christensen,

CI'ler $(0,\infty)$ muhtemelen.

— Scortchi - Eski Monica
kaynak

I think it would be helpful for you to say why you can't get a finite length confidence interval.

— Aralık'ta

@ Max yeterince akıllı değilim - ama soru bir tane istemedi.

— Scortchi - Monica'yı yeniden yerleştirin

Bunun için +1. Soru, en az kapsama sahip bir CI demiyordu ve aslında bunun meraklı ifadesiyle, " en az % 99 güven düzeyinde bir güven aralığı" ile kabul edilebilir olabileceği anlamına geliyor .

— Ari B. Friedman,