Sonlu varyans testi?

Bir örnek verilen rastgele değişkenin varyansının doğruluğunu (veya varlığını) test etmek mümkün müdür? Boş değer olarak, {varyans var ve sonludur} veya {varyans yoktur / sonsuzdur} kabul edilebilir. Felsefi olarak (ve hesaplamalı olarak), bu çok garip görünüyor çünkü sonlu değişkenliği olmayan bir popülasyon arasında bir fark olmamalı ve çok çok büyük bir varyansa sahip (biri> $10^{400}$ ) arasında bir fark olmamalı , bu yüzden bu sorunun çözülebileceğini ummuyorum.

Bana önerilmiş olan bir yaklaşım, Merkezi Limit Teoremi ile yapıldı: örneklerin kimliğini varsayarak ve popülasyonun sonlu ortalamaları varsayalım, bir şekilde örnek ortalamanın artan örneklem büyüklüğü ile doğru standart hataya sahip olup olmadığını kontrol edebilir. Yine de bu yöntemin işe yarayacağına inandığımdan emin değilim. (Özellikle, nasıl uygun bir test haline getirileceğini görmüyorum.)

Boyutta bir sonlu örneklem Hayır, çünkü bu, mümkün değildir güvenilir normal popülasyonda ve kirlenmiş normal popülasyonda, diyelim ki, ayırt edemez 1 / N bir Cauchy dağılımı miktarı N >> n . (Elbette, eski sonlu varyansa sahiptir ve ikincisi sonsuz varyansa sahiptir.) Bu nedenle, herhangi bir tamamen parametrik olmayan test, bu gibi alternatiflere karşı keyfi olarak düşük güce sahip olacaktır.$n$$1/N$$N$$n$

Dağıtımı bilmeden emin olamazsın. Ama böyle sen büyüklüğü bir örneğini varsa yani "kısmi varyans" olarak adlandırılabilecek bakarak olarak yapabileceğiniz bazı şeyler vardır , ilk tahmin varyansını çizmek n ile, terimler n 2 ila çalışan N .$N$$n$$n$$N$

Sınırlı bir popülasyon varyansı ile, kısmi varyansın kısa sürede popülasyon varyansına yaklaştığını umarsınız.

Sonsuz bir popülasyon varyasyonu ile, kısmi varyansta atlar, ardından numunede bir sonraki çok büyük değer görünene kadar yavaş düşüşler görürsünüz.

Bu Normal ve Cauchy rastgele değişkenleri (ve bir log ölçeği) olan bir örnektir.

Bu, dağıtımınızın şeklinin, yeterli bir güvenle tanımlamak için sizden çok daha büyük bir örneklem büyüklüğünün olması durumunda, yani sonlu varyansa sahip bir dağıtım için çok büyük değerlerin oldukça (ancak çok fazla değil) nadir olduğu durumlarda yardımcı olmayabilir, veya sonsuz değişkenlikteki bir dağılım için son derece nadirdir. Belirli bir dağıtım için, niteliğini açıklamazdan daha muhtemel olan örneklem büyüklükleri olacaktır; tersine, belirli bir örneklem büyüklüğü için, bu örnek büyüklüğü için doğalarını gizlememekten daha muhtemel dağılımlar vardır.

İşte başka bir cevap. Sorunu parametreleştirebileceğinizi varsayalım, bunun gibi bir şey:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

$H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

$-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

Feragatname: Bu oyuncak örneğidir. Verilerimin Cauchy'den gelip gelmediğini 3 df olan Öğrenci t’nin aksine olmadığını merak ettiğim gerçek dünyadan bir durumum yok. Ve asıl soru parametreleştirilmiş problemler hakkında bir şey söylemedi, diğerleri tarafından iyi ele alındığını düşündüğüm parametrik olmayan bir yaklaşım daha görünüyordu. Bu cevabın amacı, sorunun başlığı ile karşılaşan ve klasik tozlu ders kitabı yaklaşımını arayan gelecekteki okuyucular içindir.

$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Bir hipotezin sonlu varyansı, birinin sonsuz varyansı vardır. Sadece oranları hesapla:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

Ve şimdi oranı alarak normalize edici sabitlerin önemli kısımlarının iptal olduğunu görüyoruz:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Ve tüm integraller sınırda hala uygundur, böylece şunları yapabiliriz:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

Sayısal çalışma ihtimaline karşı son bir analitik form olarak alıyoruz:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Dolayısıyla bu, sonluya karşı sonsuz varyansın spesifik bir testi olarak düşünülebilir. Başka bir test almak için bu çerçeveye bir T dağılımı da yapabiliriz (serbestlik derecelerinin 2'den büyük olduğu hipotezini test edin).

Karşı örnek, sorulan soru ile ilgili değil. Boş bir hipotez örneğini, belirli bir anlamlılık düzeyinde, bir sınırlı rasgele değişken örneğinin sonlu varyansa sahip bir dağılımdan alındığını test etmek istiyorsunuz . Kullanım ve hipotez testinin sınırlarını anlamak için Casella tarafından "İstatistiksel Çıkarım" gibi iyi bir referans metni öneririm. Sonlu varyanstaki ht ile ilgili olarak, kullanışlı bir referansım yok, ancak aşağıdaki yazıda benzer, ancak daha güçlü bir sürüm var, yani eğer dağıtım kuyrukları bir güç yasasına uyuyorsa.

EMPIRICAL DATA SIAM'DA GÜÇ HUKUKU DAĞILIMLARI İnceleme 51 (2009): 661 - 703.

Bana önerilen bir yaklaşım, Merkezi Limit Teoremi ile oldu.

Bu eski bir soru, ancak büyük kuyrukları test etmek için CLT kullanmanın bir yolunu önermek istiyorum.

$X = \{X_1,\ldots,X_n\}$$Y = \{Y_1,\ldots,Y_n\}$$X$

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

N (0,1) dağılım fonksiyonuna da yakındır.

Şimdi tek yapmamız gereken çok sayıda önyükleme yapmak ve gözlenen Z'lerin ampirik dağılım fonksiyonunu bir N (0,1) parçası ile karşılaştırmak. Bu karşılaştırmayı yapmanın doğal bir yolu Kolmogorov Smirnov testidir .

Aşağıdaki resimler ana fikri göstermektedir. Her iki resimde de, her bir renkli çizgi, belirli bir dağılımdan 1000 gözlemin bir gerçekleştirilmesinden, ardından Z ecdf'in yaklaştırılması için 500 boyutunda 200 önyükleme örneği ile oluşturulmuştur. Siyah sürekli çizgi N (0,1) cdf'dir.