Veri tabanlı çöp kutusu sınırlarının ki-kare uyum iyiliği testi üzerindeki etkisi?

Bu tür durumlarda ki-kare düşük gücünün bariz sorununu bir kenara bırakarak, verileri ikiye ayırarak, belirtilmemiş parametrelerle bazı yoğunluk için ki-kare testi iyiliği yaptığınızı hayal edin.

Somutluk için, diyelim ki ortalaması bilinmeyen üstel dağılım ve örnek büyüklüğü 100 diyelim.

Bölme başına makul sayıda beklenen gözlem elde etmek için verilerin bir kısmının dikkate alınması gerekir (örneğin, ortalamanın altına 6 bölme ve bunun üzerine 4 bölme koymayı seçersek, yine de veri tabanlı bölme sınırları kullanır) .

Ancak, verileri görmeye dayanan bu kutuların kullanımı muhtemelen test istatistiğinin sıfırın altındaki dağılımını etkileyecektir.

Parametreler, binned verilerden maksimum olasılıkla tahmin edilirse , tahmin edilen parametre başına 1 df kaybedersiniz (Fisher vs Karl Pearson'a kadar uzanan bir sorun) - ancak hatırlamıyorum hakkında birçok tartışma gördüm. verilere dayanarak çöp kutusu sınırlarını bulma hakkında her şeyi okumak. (Bunları birleştirilmemiş verilerden tahmin ederseniz, kutuları ile test istatistiğinin dağılımı ile .) $k$ $\chi^2_{k}$ $\chi^2_{k-p}$

Bu veri tabanlı kutu seçimi önem düzeyini veya gücü önemli ölçüde etkiliyor mu? Diğerlerinden daha önemli bazı yaklaşımlar var mı? Çok fazla etki varsa, büyük örneklerde kaybolan bir şey var mı?

Eğer önemli bir etkisi varsa, parametreler birçok durumda neredeyse işe yaramazsa (hala birkaç metinde savunulmasına rağmen) ki-kare testi kullanıyorsunuz. parametrenin priori tahmini.

Konuların veya referanslara işaretçilerin tartışılması (tercihen sonuçlarından bahsedilerek) faydalı olacaktır.

Düzenle, ana sorunun hemen hemen bir kenara:

Bana göre, üstel * (ve üniforma düşünmeye gelir) özel durumu için potansiyel çözümler var, ancak hala etki seçme bölmesi sınırlarının daha genel konusuyla ilgileniyorum.

* Örneğin, üstel için, kutuların nereye yerleştirileceği hakkında çok kaba bir fikir edinmek için en küçük gözlem ( eşittir ) kullanılabilir (en küçük gözlem ortalama ile üstel olduğu için ) ve sonra kalan farklarını ( ) üstellik açısından test edin . Tabii ki bu çok kötü bir tahmin $m$ $\mu/n$ $n-1$ $x_i - m$ $\mu$ ve dolayısıyla zayıf çöp kutusu seçimleri olsa da, makul bölmeleri seçmek için en düşük iki veya üç gözlemi almak ve daha sonra kalan gözlemlerin en küçük sipariş istatistiklerinin en büyüğünün üzerindeki farklarını test etmek için argümanı tekrar tekrar kullanabileceğini varsayalım. exponentiality)

chi-squared goodness-of-fit binning

— Glen_b-Monica'yı eski durumuna döndür
kaynak

İlginç soru. Cevabı bilmiyorum, ancak bazı serbestlik derecelerinin kaybolması gerektiği fikri mantıklı. Eğer daha önce görmediyseniz, @whuber'ın bu cevabı düşündürücü olmalıdır: özgürlük derecesi nasıl anlaşılır . Bana öyle geliyor ki, bazı simülasyon çalışmaları, en azından bazı özel durumlar için burada bir görev alabilmenizi sağlamalıdır.

— gung - Monica'yı eski durumuna getirin

Bunun ne kadar yararlı olduğundan emin değilim, ancak sağlam tahmin alanında benzer bir sorun var. Özellikle, sağlam bir tahmin yöntemi (örneğin, kesilmiş ortalama) genellikle parametreli bir giriş gerektirir (örneğin, ne kadar kırpılacağını tanımlayan parametre). Bu parametre veriye dayalı bir yöntemle seçilebilir (örn. Kırpma parametresini seçmeden önce kuyrukların ne kadar yağ olduğuna bakın). Ancak, kırpma parametresinin önceden seçilmesi, kesilen ortalamanın, örneğin sabit bir parametre kuralına göre dağılımını etkiler. Bu literatürde ele alınmasının olağan yolu bir önyükleme yoluyladır.

— Colin T Bowers

@ColinTBowers - potansiyel olarak biraz yararlı, teşekkürler. Önyükleme olasılığı hakkında düşünmedim.

— Glen_b

Sorunu en basit bir duruma bölmek ilginç olabilir. En sevdiğiniz dağıtımdan sadece 5 gözlem gibi bir şey düşünün ve sadece iki bölme oluşturmak için verilere tek bir bölücü koyun.

— zkurtz

Yanıtlar:

Ki-kare uyum iyiliği testinin temel sonuçları hiyerarşik olarak anlaşılabilir .

Seviye 0 . Sabit bir olasılık vektörü karşı çokterimli numunenin test edilmesi için klasik Pearson ki-kare test istatistiği olan $p$ Burada sonuçların sayısını belirtmektedir büyüklükte bir örnek üzerinden inci hücre . Bu, meyveli olarak vektörünün kare normu olarak görülebilir;burada

X^{2} (p) = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n p_{i})^{2}}{n p_{i}} \overset{d}{\to} χ_{k - 1}^{2},

$X^2(p) = \sum_{i=1}^k \frac{(X^{(n)}_i - n p_i)^2}{n p_i} \stackrel{d}{\to} \chi_{k-1}^2 \>,$

X_{i}^{(n)}

$X_i^{(n)}$

i

$i$

n

$n$

Y_{n} = (Y_{1}^{(n)}, \dots, Y_{k}^{(n)})

$\mathbf Y_n = (Y_1^{(n)},\ldots,Y_k^{(n)})$

, çok değişkenli merkezi limit teoremi ile dağılımda

Y_{i}^{(n)} = (X_{i}^{(n)} - n p_{i}) / \sqrt{n p_{i}}

$Y_i^{(n)} = (X_i^{(n)} - n p_i)/\sqrt{n p_i}$

Bundan görülür o

beri

Y_{n} \overset{d}{\to} N (0, I - \sqrt{p} {\sqrt{p}}^{T}) .

$\mathbf Y_n \stackrel{d}{\to} \mathcal N(0, \mathbf I - \sqrt{p}\sqrt{p}^T) \>.$

X^{2} = ‖ Y_{n} ‖^{2} \to χ_{k - 1}^{2}

$X^2 = \|\mathbf Y_n\|^2 \to \chi^2_{k-1}$

rütbesinin idempotentidir.

I - \sqrt{p} {\sqrt{p}}^{T}

$\mathbf I - \sqrt{p}\sqrt{p}^T$

k - 1

$k-1$

$p$ $m$ $p_i$

X_{1}^{2} = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n {\hat{p}}_{i})^{2}}{n {\hat{p}}_{i}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_1 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

$\lambda$ $k$

$m$ $m = 1$

X_{2}^{2} = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n {\hat{p}}_{i})^{2}}{n {\hat{p}}_{i}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_2 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

{\hat{p}}_{i}

$\hat{p}_i$

$Z_1,\ldots,Z_n \sim F_\lambda$ $\lambda$ $\chi_{k-m-1}^2$ $\chi_{k-1}^2$

$\mathbf Y_n$ $\mathcal N(0, \mathbf I - \sqrt{p_\lambda}\sqrt{p_\lambda}^T - \mathbf A(\lambda))$

$\lambda$ $\mathbf A(\lambda)$

$\mathbf Y_n$ $\mathbf B(\hat{\lambda})$

Y_{n}^{T} B^{T} B Y_{n} \overset{d}{\to} χ_{k - 1}^{2},

$\mathbf Y_n^T \mathbf B^T \mathbf B \mathbf Y_n \stackrel{d}{\to} \chi_{k-1}^2 \>,$

k

$k$

Örnekler Rao – Robson – Nikulin istatistiği ve Dzhaparidze – Nikulin istatistiğidir .

$k$ $1/k$ $\hat{I}_j = \hat \mu + \hat\sigma I_{0,j}$ $I_{0,j} = [F^{-1}((j-1)/k), F^{-1}(j/k))$

Referanslar

A W. van der Vaart (1998), Asimptotik İstatistikler , Cambridge Üniversitesi Yayınları. Bölüm 17 : Ki-Kare Testleri .
$\chi^2$
FC Drost (1989), Sınıf sayısı sonsuzluğa eğilimli olduğunda yer ölçekli modeller için genelleştirilmiş ki-kare uyum iyiliği testleri , Ann. Stat , cilt. 17, hayır. 3, 1285–1300.
MS Nikulin edildi, MS (1973), kaydırma ve ölçek parametreleri sürekli dağıtım için ki-kare testi , Olasılık Teorisi ve Uygulaması , vol. 19, hayır. 3, 559-568'de açıklanmaktadır.
KO Dzaparidze ve MS Nikulin (1973), Pearson standart istatistik bir değişiklik üzerinde , olasılık ve Uygulamaları Teorisi , vol. 19, hayır. 4, 851-853.
KC Rao ve DS Robson (1974), Üstel ailede uyum iyiliği testlerinin ki-kare istatistiği , Comm. Devletçi. , cilt 3, no. 12, 1139-1153.
N. Balakrishnan, V. Voinov ve MS Nikulin (2013), Chi-Squared Uyum Testlerinin Uygulamalarla İyiliği , Academic Press.

— kardinal
kaynak

Soruma en azından kısmi cevaplar buldum, aşağıda. (Hala birisine bonus vermek istiyorum, bu yüzden daha fazla bilgi takdir edildi.)

$\chi^2_{k-p-1}$ $p$ $\chi^2_1$ $k$ $p$ $\chi^2_{k-p}$ $\chi^2_{k}$ $p$

Referanslar

Moore DS (1971), Rasgele Hücre Sınırlarına Sahip Bir Ki-Kare İstatistiği , Ann. Matematik. Stat. , Cilt 42, Sayı 1, 147–156.

$\chi^2$

— Glen_b-Monica'yı eski durumuna döndür
kaynak