Ağırlıklı varyansta yanlılık düzeltmesi

Ağırlıksız varyans için

Var (X) := \frac{1}{n} \sum_{i} (x_{i} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$ , ortalamanın aynı verilerden hesaplandığı durumlarda önyargı düzeltilmiş örneklem varyansı vardır:

Var (X) := \frac{1}{n - 1} \sum_{i} (x_{i} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Ağırlıklı ortalama ve varyansa bakıyorum ve ağırlıklı varyans için uygun önyargı düzeltmesinin ne olduğunu merak ediyorum. Kullanımı:

mean (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} x_{i}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

Kullandığım "saf", düzeltilmemiş varyansı şudur:

Var (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Bu yüzden önyargıyı düzeltmenin doğru yolunun olup olmadığını merak ediyorum.

Var (X) := \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

veya B)

Var (X) := \frac{n}{n - 1} \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

veya C)

Var (X) := \frac{\sum_{i} ω_{i}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) ağırlıklar küçük olduğunda bana anlam ifade etmiyor. Normalleştirme değeri 0 veya hatta negatif olabilir. Peki ya B) ( gözlem sayısıdır) - bu doğru yaklaşım mı? Bunu gösteren bir referansınız var mı? "Ortalama ve varyans tahminlerinin güncellenmesi: gelişmiş bir yöntem" olduğuna inanıyorum, DHD West, 1979 bunu kullanıyor. Üçüncüsü, C) bu sorunun cevabını yorumum: /mathpro/22203/unbiased-estimate-of-the-variance-of-an-unnormalised-weighted $n$

C) Ben sadece payda gibi göründüğünü fark ettim . Burada genel bir bağlantı var mı? Bence tamamen birbirine uymuyor; ve açıkçası, varyansı hesaplamaya çalıştığımız bir bağlantı var ... $\text{Var}(\Omega)$

Üçünün de hepsinin ayarının akıl sağlığı kontrolünden “kurtulduğunu” görünmektedir . Peki hangisini kullanmalıyım, hangisi altında? '' Güncelleme: '' ayrıca Sağlık denetimi yapmak için önerilen whuber ve kalan tüm küçücük. Bu A ve B'yi dışlıyor gibi görünüyor. $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Anony-Mousse
kaynak

En büyük iki ağırlığın eşit olduğu ve geri kalan her şeyin ufak bir şekilde küçüldüğü durumları göz önüne aldığınızda, hem (A) hem de (B) çekişmeden düşerler (çünkü

için bilinen sonuçlarla aynı fikirde değildirler ). (C) bir yaklaşım gibi görünüyor; Doğru faktörün ağırlıkların çok daha karmaşık bir işlevi olduğunu düşünüyorum.

n = 2

$n=2$

— whuber

@whuber ThePawn, aşağıda C olduğunu göstermektedir. Daha ayrıntılı endişeleriniz var mı?

— Anony-Mousse

Çözüm (A) işe yarıyor, geçmişte uyguladım ve ampirik testlerden doğru sonuçları verdiğini onaylayabilirim. Ancak, ağırlıklar için sadece tamsayı değerlerini kullanmalısınız ve> 0

— gaborous

Teşekkürler! Ağırlıklar üssel hareketli bir ortalama için olduğunda bu bana doğru yolda almak için çok yardımcı oldu! Varyansı hesaplamanın saf yolunun, basit hareketli ortalama hesaplamasına benzer şekilde gösterilen küçük (1-1 / n) düzeltmeye ek olarak, sabit bir 2 kat faktörü ile abarttığı ortaya çıktı. Bu çok çılgın bir özel durum!

— Kasım’da

Yanıtlar:

Matematiğe baktım ve C değişkeniyle bitirdim:

burada düzeltilmemiş varyans tahminidir. Formül tüm ağırlıksız durumda kabul ederözdeştir. Aşağıdaki kanıtı detaylandırıyorum:

V a r (X) = \frac{(\sum_{i} ω_{i})^{2}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

ayarı $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \sum_{i} λ_{i} (x_{i} - \sum_{j} λ_{j} x_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

(x_{i} - \sum_{j} λ_{j} x_{j})^{2} = x_{i}^{2} + \sum_{j, k} λ_{j} λ_{k} x_{j} x_{k} - 2 \sum_{j} λ_{j} x_{i} x_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

Beklentiyi alırsak, sahibiz. $E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ , the term $E[X]$ being present in each term, it cancels out and we get:

E [\bar{V}] = V a r (X) \sum_{i} λ_{i} (1 + \sum_{j} λ_{j}^{2} - 2 λ_{i})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$ that is

E [\bar{V}] = V a r (X) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$ It remains to plug in the expression of

λ_{i}

$\lambda_i$ with respect to

ω_{i}

$\omega_i$ to get variant C.

— ThePawn
kaynak

That's variant C above, isn't it?

— Anony-Mousse

Oups, yes, it is variant C.

— ThePawn

I have checked this solution empirically and it does NOT work... The only one that does is solution (A) that I have also implemented in the past by myself, but it only works with weights being integer numbers and >= 0

— gaborous

This equation is wrong according to Wikipedia, Matlab, R, and others which are implementing this equation. The numerator here is squared, but it should NOT, it should be just like the (C) proposed by the OP. See en.wikipedia.org/wiki/…

— gaborous

@rajatkhanduja I was not talking about the proof but the final derived equation (the top one in this answer). But indeed it's correct, the numerator is just squared because we multipy by V, thus the numerator ends up being unsquared. Anyway, this estimator remains biased as I explain in my answer below since it relies on "reliability"-type weights.

— gaborous

Both A and C are correct, but which one you will use depends on what kind of weights you use:

A needs you to use "repeat"-type weights (integers counting the number of occurrences for each observation), and is unbiased.
C needs you to use "reliability"-type weights (either normalized weights or either variances for each observation), and is biased. It can't be unbiased.

The reason why C is necessarily biased is because if you don't use "repeat"-type weights, you lose the ability to count the total number of observations (sample size), and thus you can't use a correction factor.

For more info, check the Wikipedia article that was updated recently: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— gaborous
kaynak