5 konu için 100 ölçümün 100 konu için 5 ölçümden çok daha az bilgi sağladığını gösteriyor

Bir konferansta aşağıdaki ifadeye kulak misafiri oldum:

5 konu için 100 ölçüm, 100 konu için 5 ölçümden çok daha az bilgi sağlar.

Bunun doğru olduğu çok açık, ama bunun matematiksel olarak nasıl kanıtlanabileceğini merak ediyordum ... Doğrusal bir karma modelin kullanılabileceğini düşünüyorum. Ancak, onları tahmin etmek için kullanılan matematik hakkında pek bir şey bilmiyorum (Sadece lmer4LMM'ler ve bmrsGLMM'ler için koşuyorum :) Bana bunun doğru olduğu bir örnek gösterebilir misiniz? Bazı formüllerde bir cevabı tercih ediyorum, sadece R kodundaki bazı kodlardan çok, örneğin normal dağılmış rasgele engellemeli ve eğimli doğrusal karışık modeller gibi basit bir ayar yapmaktan çekinmeyin.

Not: LMM'leri içermeyen bir matematik tabanlı cevap. LMM'leri düşündüm çünkü bana neden daha fazla denekten daha az önlemin birkaç denekten daha fazla ölçekten daha iyi olduğunu açıklamak için doğal bir araç gibi görünüyorlardı, ama ben yanlış olabilirim.

— DeltaIV
kaynak

+1. Sanırım en basit ayar, her kendine özgü ve bu konunun her ölçümünün olarak dağıtıldığı popülasyon ortalamasının tahmin etmenin bir görevi olduğunu düşünmek olacaktır. . deneklerin her birinden ölçüm alırsak , o zaman sabit ürün verilen ve ayarını yapmanın en uygun yolu nedir ?

μ

$\mu$

a \sim N (μ, σ_{a}^{2})

$a \sim \mathcal N(\mu, \sigma_a^2)$

x \sim N (a, σ^{2})

$x \sim \mathcal N(a, \sigma^2)$

n

$n$

m

$m$

n

$n$

m

$m$

n m = N

$nm=N$

— amip diyor Reinstate Monica,

elde edilen veri noktalarının örnek ortalamasının varyansını en aza indirme anlamında "Optimal" .

N

$N$

— amip diyor Reinstate Monica,

Evet. Ancak sorunuz için varyansları nasıl tahmin edeceğimizle ilgilenmemize gerek yok; Sorunuzun (sorunuzu yani tırnak) Ben sadece küresel ortalama tahmin hakkında inanıyorum ve en iyi tahmincisi büyük ortalama tarafından verildiği aşikardır Herşeyden numunede nokta. O zaman soru şudur: verilen , , , ve , varyansı nedir? Bunu biliyorsak , kısıtı verilen göre en aza indirgeyebileceğiz .

μ

$\mu$

\bar{x}

$\bar x$

N = n m

$N=nm$

μ

$\mu$

σ^{2}

$\sigma^2$

σ_{a}^{2}

$\sigma^2_a$

n

$n$

m

$m$

\bar{x}

$\bar x$

n

$n$

n m = N

$nm=N$

— amip diyor Reinstate Monica

Bunlardan herhangi birinin nasıl türetileceğini bilmiyorum, ama bunun bariz olduğunu kabul ediyorum: hata varyansını tahmin etmek, tek bir denekten tüm ölçümlerinin yapılmasının en iyisi olacağını ; ve konu varyansını tahmin etmek için (muhtemelen?) her biri 1 ölçümle farklı konuya sahip olmak en iyisidir . Olsa da, ortalama hakkında çok net değil, ama sezgim, her biri 1 ölçümü olan deneklerin de en iyisi olacağını söylüyor. Acaba bu doğru mu ...

N

$N$

N

$N$

N

$N$

— amip diyor Reinstate Monica

Belki şöyle bir şey olabilir: Konu başına örneklem araçlarının varyansı

, burada birinci terim özne varyansı ve ikincisi her öznenin ortalamasının tahmini varyansıdır. Sonra aşırı deneklerin varyans (yani büyük ortalama) olacaktır ortalama

σ_{a}^{2} + σ^{2} / n

$\sigma^2_a + \sigma^2/n$

asgariye düşürülmesidir

(σ_{a}^{2} + σ^{2} / n) / m = σ_{a}^{2} / m + σ^{2} / (n m) = σ_{a}^{2} / m + σ^{2} / N = σ_{a}^{2} / m + c o n s t,

$(\sigma^2_a + \sigma^2/n)/m = \sigma^2_a/m + \sigma^2/(nm) = \sigma^2_a/m + \sigma^2/N = \sigma^2_a/m + \mathrm{const},$

m = N

$m=N$

— amip diyor Reinstate Monica,

Kısa cevap, varsayımınızın verilerde pozitif sınıf içi bir korelasyon olduğu zaman ve sadece olduğunda doğrudur . Ampirik olarak konuşursak, çoğu kümelenmiş veri kümesi çoğu zaman pozitif bir sınıf içi korelasyon gösterir, yani pratikte varsayımınız doğrudur. Fakat eğer sınıf içi korelasyon 0 ise, bahsettiğiniz iki vaka eşit derecede bilgilendiricidir. Ve eğer sınıf içi korelasyon negatifse , o zaman daha fazla konuda daha az ölçüm almak aslında daha az bilgilendiricidir ; aslında tüm ölçümlerimizi tek bir konu üzerinde almayı tercih ediyoruz (parametre tahmininin varyansını azaltmak söz konusu olduğunda).

İstatistiksel olarak, bunun hakkında düşünebileceğimiz iki perspektif var: Sorunuzda bahsettiğiniz rastgele etkiler (veya karışık ) bir model veya burada biraz daha bilgilendirici olan biten marjinal bir model .

Rasgele etkiler (karışık) model

Biz bir dizi var ki attık aldığınız konularda ölçümleri her. Daha sonra basit bir rastgele etki modeli th ölçüm inci konu olabilir , sabit mesafesidir varyans ile rastgele konusu etkisi (bir ), gözlem seviyesi hata terimidir ( varyansı ile $n$ $m$ $j$ $i$

y_{i j} = β + u_{i} + e_{i j},

$y_{ij} = \beta + u_i + e_{ij},$

β

$\beta$

u_{i}

$u_i$

σ_{u}^{2}

$\sigma^2_u$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$ ) ve son iki rasgele terim bağımsızdır.

Bu modelde popülasyon ortalamasını temsil eder ve dengeli bir veri kümesiyle (yani, her denekten eşit sayıda ölçüm), en iyi tahminimiz basitçe örneklem ortalamasıdır. Dolayısıyla, bu tahmin için daha küçük bir varyans anlamına gelmek üzere "daha fazla bilgi" alırsak, temel olarak örnek ortalamasının varyansının ve bağlı olduğunu bilmek isteriz . Cebir ile biraz bunun üzerinde çalışabilir $\beta$ $n$ $m$ Bu ifadeyi inceleyerek,ne zaman bir konu varyansı varsa(yani,), konu sayısını () arttırmanın bu terimin her ikisini de daha küçük yapacağını, konu başına ölçüm sayısını artıracağını görebiliriz () sadece ikinci terimi daha küçük hale getirecek. (Bunun, çok siteli çoğaltma projeleri tasarlamaya yönelik pratik bir uygulaması için,bir süre önce yazdığım bu blog gönderisinebakın.)

\begin{aligned} var (\frac{1}{n m} \underset{ben}{Σ} \underset{j}{Σ} y_{ben j}) & = var (\frac{1}{n m} \underset{ben}{Σ} \underset{j}{Σ} β + u_{ben} + e_{ben j}) \\ = \frac{1}{n^{2} m^{2}} var (\underset{ben}{Σ} \underset{j}{Σ} u_{ben} + \underset{ben}{Σ} \underset{j}{Σ} e_{ben j}) \\ = \frac{1}{n^{2} m^{2}} (m^{2} \underset{ben}{Σ} var (u_{ben}) + \underset{ben}{Σ} \underset{j}{Σ} var (e_{ben j})) \\ = \frac{1}{n^{2} m^{2}} (n m^{2} σ_{u}^{2} + n m σ_{e}^{2}) \\ = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} . \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$

σ_{u}^{2} > 0

$\sigma^2_u>0$

n

$n$

m

$m$

Şimdi toplam gözlem sayısını sabit tutarken veya arttırdığımızda veya azalttığımızda ne olacağını bilmek istediniz . Bu yüzden düşünün için , sabit olmak çok bütün varyans ifadesi gibi görünüyor $m$ $n$ $nm$ mümkünolduğu kadar büyükolduğunda mümkün olduğu kadar küçük(en fazla, bu durumda, yani her denekten tek bir ölçüm yapacağız).

\frac{σ_{u}^{2}}{n} + sabit,

$\frac{\sigma^2_u}{n} + \text{constant},$

n

$n$

n = n m

$n=nm$

m = 1

$m=1$

Kısa cevabım sınıf içi korelasyona işaret ediyordu, peki bu neye uyuyor? Bu basit rastgele etkiler modelinde içi sınıf korelasyonu (buradabir türev taslağı). Böylece yukarıdaki varyans denkleminiolarak yazabiliriz).

ρ = \frac{σ_{u}^{2}}{σ_{u}^{2} + σ_{e}^{2}}

$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$

Bu, daha önce gördüğümüze gerçekten bir içgörü katmıyor, ama bizi meraklandırıyor: sınıf içi korelasyon bir iyi niyetli korelasyon katsayısı ve korelasyon katsayıları olduğu için negatif olabilir, eğer sınıf içi korelasyon negatif olsaydı ne olurdu (ve ne anlama gelirdi)?

var (\frac{1}{n m} \underset{ben}{Σ} \underset{j}{Σ} y_{ben j}) = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) (σ_{u}^{2} + σ_{e}^{2})

$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$

Rastgele etkiler modeli bağlamında, negatif bir sınıf içi korelasyon gerçekten mantıklı gelmez, çünkü dengesindeki varyansın bir şekilde negatif olduğu anlamına gelir ( yukarıdaki denkleminden görebileceğimiz gibi ve açıklandığı gibi). burada ve burada ) ... ama varyanslar negatif olamaz! Ancak bu , sınıf içi negatif bir ilişki kavramının bir anlam ifade etmediği anlamına gelmez ; bu sadece rastgele etki modelinin, kavramın değil, modelin başarısızlığı olan bu kavramı ifade etmenin bir yolunun olmadığı anlamına gelir. Bu kavramı yeterince ifade etmek için marjinal modeli göz önünde bulundurmamız gerekir. $\sigma^2_u$ $\rho$

Marjinal model

Bu aynı veri kümesi için biz bir sözde marjinal modelini düşünebiliriz , temelde rastgele konu etkisi itti ettik hata terimi içine önce gelen böylece sahip olduğumuz . Rastgele etki modelinde iki rasgele terimleri kabul ve olmak $y_{ij}$

y_{ben j} = β + e_{ben j}^{*},

$y_{ij} = \beta + e^*_{ij},$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

u_{i}

$u_i$

e_{i j}

$e_{ij}$ IID , fakat marjinal modelinde yerine dikkate

bir blok-köşegen kovaryans matrisi takip

gibi

e_{i j}^{*}

$e^*_{ij}$

C

$\textbf{C}$

C = σ^{2} [\begin{matrix} R, & 0 & \dots & 0 \\ 0 & R, & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & R, \end{matrix}], R, = [\begin{matrix} 1 & ρ & \dots & ρ \\ ρ & 1 & \dots & ρ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ ρ & ρ & \dots & 1 \end{matrix}]

$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$ Yani bu araçlar marjinal model altında biz sadece düşünün

ikisi arasında beklenen ilişki olması

Aynı konudan s (biz denekler arasında korelasyon 0 olduğunu varsayalım).

pozitif olduğunda , aynı denekten çizilen iki gözlem, deneklerden dolayı kümelenmeyi göz ardı ederken, veri kümesinden rastgele alınan iki gözlemden ortalama olarak birbirine daha yakın olma eğilimindedir. Tüm

olan negatif , aynı konuda çekilen iki gözlem olma eğilimi daha az tamamen rastgele çizilen iki gözlem göre ortalama (daha da ayrı) benzer. ( Burada bu yorumlama hakkında daha fazla bilgi / soru burada / cevaplar

ρ

$\rho$

e^{*}

$e^*$

ρ

$\rho$

ρ

$\rho$ .)

\begin{aligned} var (\frac{1}{n m} \underset{ben}{Σ} \underset{j}{Σ} y_{ben j}) & = var (\frac{1}{n m} \underset{ben}{Σ} \underset{j}{Σ} β + e_{ben j}^{*}) \\ = \frac{1}{n^{2} m^{2}} var (\underset{ben}{Σ} \underset{j}{Σ} e_{ben j}^{*}) \\ = \frac{1}{n^{2} m^{2}} (n (m σ^{2} + (m^{2} - m) ρ σ^{2})) \\ = \frac{σ^{2} (1 + (m - 1) ρ)}{n m} \\ = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) σ^{2}, \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$ rastgele etkiler modeli için yukarıda türettiğimiz aynı varyans ifadesidir, sadece

σ_{e}^{2} + σ_{u}^{2} = σ^{2}

$\sigma^2_e+\sigma^2_u=\sigma^2$ , yukarıdaki notumuzla uyumlu

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$ . Bu (istatistiksel olarak eşdeğer) bakış açısının avantajı, burada negatif bir konu varyansı gibi tuhaf kavramları çağırmaya gerek kalmadan negatif bir sınıf içi korelasyon düşünebilmemizdir. Negatif sınıf içi korelasyonlar bu çerçevede doğal olarak uyuyor.

(BTW, yukarıdaki türetme işleminin ikinci-son çizgisinin bizim olması gerektiği anlamına geldiğini belirtmek için kısa bir süre) $\rho \ge -1/(m-1)$ , ya da tüm denklem negatif, ancak varyans olumsuz olamaz! Bu nedenle, küme başına kaç ölçüm yaptığımıza bağlı olan sınıf içi korelasyon üzerinde daha düşük bir sınır vardır. İçin $m=2$ (yani, her konuyu iki kez ölçüyoruz), sınıf içi korelasyon tamamen aşağı inebilir $\rho=-1$ ; için $m=3$ sadece aşağı gidebilir $\rho=-1/2$ ; ve bunun gibi. Eğlenceli gerçek!)

Sonunda, toplam gözlem sayısını göz önüne alarak bir kez daha $nm$ sabit olmak gerekirse, yukarıdaki türevin ikinci-son çizgisinin aynı gözüktüğünü görüyoruz.

(1 + (m - 1) ρ) x pozitif sabit .

$\big(1+(m-1)\rho\big) \times \text{positive constant}.$ Öyleyse ne zaman

ρ > 0

$\rho>0$ , sahip

m

$m$ mümkün olduğu kadar küçük (böylece daha fazla konunun daha az ölçümünü alalım - sınırda her konunun 1 ölçümü), tahminin mümkün olduğunca küçük olmasını sağlar. Ama ne zaman

ρ < 0

$\rho<0$ , aslında istiyoruz

m

$m$ mümkün olduğu kadar büyük olmak (böylece

n m

$nm$ varyansı olabildiğince küçük yapmak için tek bir denekten alınan ölçümler). Ve ne zaman

ρ = 0

$\rho=0$ , tahminin varyansı sadece bir sabittir, bu yüzden tahsisatımız

m

$m$ ve

n

$n$ önemli değil.

— Jake Westfall
kaynak

+1. Mükemmel cevap. İtiraf etmeliyim ki ikinci bölüm, yaklaşık

ρ < 0

$\rho<0$ , oldukça sezgisel değil: çok büyük (veya sonsuz) bir toplam sayıyla bile

n m

$nm$ Yapabileceğimiz en iyi gözlemlerden biri, tüm gözlemleri tek bir konuya tahsis etmektir, yani ortalamanın standart hatası olacaktır.

σ_{u}

$\sigma_u$ ve prensip olarak daha fazla azaltmak mümkün değildir . Bu sadece çok garip! Doğru

β

$\beta$ ne olursa olsun, onu ölçmek için ne kaynak varsa, bilinmeyen kalır. Bu yorum doğru mu?

— amip diyor Reinstate Monica

Ah, hayır. Yukarıdaki doğru değil çünkü

m

$m$ sonsuzluğa yükselir,

ρ

$\rho$ negatif kalamaz ve sıfıra yaklaşması gerekir (sıfır konu varyansına karşılık gelir). Hmm. Bu negatif korelasyon komik bir şey: bu gerçekten üretici modelin bir parametresi değil, çünkü örneklem büyüklüğü ile sınırlıdır (oysa ki, normal olarak, herhangi bir sayıda gözlem üretebilme kabiliyetine sahip olan bir model, parametreler ne olursa olsun). Bunun hakkında düşünmenin doğru yolunun ne olduğundan emin değilim.

— amip diyor Reinstate Monica

@DeltaIV Bu durumda "rastgele etkilerin kovaryans matrisi" nedir? Yukarıdaki Jake tarafından yazılan karma modelde, yalnızca bir rastgele etki vardır ve bu nedenle gerçekten "kovaryans matrisi" yoktur, ancak yalnızca bir sayı vardır:

σ_{u}^{2}

$\sigma^2_u$ . Ne

Σ

$\Sigma$ mı kastediyorsun

— amip diyor Reinstate Monica

@DeltaIV Peki, genel prensip en.wikipedia.org/wiki/Inverse-variance_weighting , ve her bir deneğin örnek ortalamasının varyansı şu şekilde verilmiştir:

σ_{u}^{2} + σ_{e}^{2} / m_{i}

$\sigma^2_u + \sigma^2_e/m_i$ (Jake, bu yüzden yukarıda ağırlıkların, deneklerin varyansının tahminine dayanması gerektiğini yazdığını yazdı). Özne içi varyansın tahmini, birleşik özne sapmalarının birleştirilmiş varyansının varyansı ile verilir, özne arasındaki varyansın tahmini, deneklerin araçlarının varyansıdır ve bunların hepsini hesaplayabilir. (Ama bunun% 100’ün eşdeğer olup olmadığından emin değilim.)

— amip Reinstate Monica

Jake, evet, kesinlikle bu kadar kodlama

m

$m$ Bu beni rahatsız ediyordu. Bu "örneklem büyüklüğü" ise, temel sistemin bir parametresi olamaz. Benim şu anki düşüncem bu olumsuz

ρ

$\rho$ aslında bizim için yok sayılan / bilinmeyen başka bir konu içi faktör olduğunu belirtmelidir. Örneğin, bazı müdahalelerin öncesi ve sonrası olabilir ve aralarındaki fark o kadar büyüktür ki ölçümler negatif korelasyon gösterir. Ama bu demek oluyor ki

m

$m$ gerçekten bir örneklem büyüklüğü değil, ancak bu bilinmeyen faktörün düzeylerinin sayısı ve bu kesinlikle zor kodlanmış olabilir ...

— amip Reinstate Monica