15

(Bağımsız) örnekleri paralel olarak topladığım bir deney yapıyorum, her örnek grubunun varyansını hesaplıyorum ve şimdi tüm örneklerin toplam varyansını bulmak için hepsini birleştirmek istiyorum.

Terminolojiden emin olmadığım için bunun için bir türev bulmakta zorlanıyorum. Ben bir RV bir bölümü olarak düşünüyorum.

Bu yüzden , , ... ve dan bulmak istiyorum , burada = . $Var(X)$ $Var(X_1)$ $Var(X_2)$ $Var(X_n)$ $X$ $[X_1, X_2, \dots, X_n]$

DÜZENLEME: Bölümler aynı boyut / kardinalite değildir, ancak bölüm boyutlarının toplamı, toplam örnek setindeki örnek sayısına eşittir.

DÜZENLEME 2: Paralel hesaplama için bir formül vardır , ancak setini değil, yalnızca iki kümeye bölünme durumunu kapsar . $n$

variance

— galamin
kaynak

Bu, buradaki sorumla

Bu son parantez ne anlama geliyor? Peki "toplam varyans" ile ne demek istiyorsun? Birleşik veri kümesinin varyansı dışında bir şey var mı?

— whuber

@whuber son köşeli ayraç? "toplam varyans", toplam veri kümesinin varyansı anlamına gelir.

— gallamin

ifadesi birçok anlama gelebilir (geleneksel olarak bir vektör olsa da): Bir açıklama arıyordum.

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$

— whuber

22

Tüm alt numuneler aynı numune boyutuna sahipse, formül oldukça basittir. boyutunda alt örnekleri varsa (toplam örnekleri için), birleştirilmiş örneğin varyansı , her bir alt örneğin ortalama ve varyansına bağlıdır : burada , numune araçlarının varyansı anlamına gelir. $g$ $k$ $gk$ $E_j$ $V_j$

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

R'de bir gösteri:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

Örnek boyutları eşit değilse, formül çok hoş değildir.

EDIT: eşit olmayan örnek boyutları için formül

Varsa alt örnekler, her bir toplam için elemanları değerleri, daha sonra burada , tüm araçların ağırlıklı ortalamasıdır (ve tüm değerlerin ortalamasına eşittir) ). $g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

Yine bir gösteri:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

Bu arada, bu formüller ölçekli toplamı olarak arzu edilen varyans yazarak elde etmek kolaydır , daha sonra sokulması : , fark formülünün karesini kullanarak ve basitleştirme. $(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

— Aniko
kaynak

Teşekkürler. Ne yazık ki, bölümlerimin aynı boyutta olduğunu garanti edemiyorum. Her bölümün varyanslarını paralel olarak hesaplamak ve sonunda birleştirmek için gereken büyük ölçüde paralel bir işlem yürütüyorum, ancak her paralel işlemin sonuçları / örnekleri eşit değil (alınan fotonların Monte Carlo simülasyonu).

— gallamin

3

Bir veri ambarı ortamında paralel hesaplama için bu yeterince, süper yararlı formülü +

— 1'leyemiyorum

1

Bu basitçe türetmenin kaba bir taslağı ve bazı python koduyla aniko'nun cevabına bir eklentidir , bu yüzden tüm krediler aniko'ya gider.

türetme

Let biri her bir bölümü için eleman sayısı olan veriler parçaları. Her parçanın ortalamasını ve varyansını . Biz ayarlanırsa toplam veri kümesi varyansı ile elde edilir: $X_j \in X = \{X_1, X_2, \ldots, X_g\}$ $g$ $k_j = |X_j|$

\begin{aligned} E_{j} & = E [X_{j}] = \frac{1}{k_{j}} \sum_{i = 1}^{k_{j}} X_{j i} \\ V_{j} & = V a r [X_{j}] = \frac{1}{k_{j} - 1} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$ Her bölüm için aynı boyutta , yani , yukarıdaki formül basitleştirir

k

$k$

\forall j : k_{j} = k

$\forall j: k_j = k$

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

piton kodu

Aşağıdaki python işlevi, ilk boyut boyunca bölünmüş diziler için çalışır ve farklı boyutlardaki parçalar için "daha karmaşık" formülü uygular.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

Aşağıdaki gibi kullanılabilir:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

— Bay Tsjolder
kaynak

Değişkenlerin bir bölümünün varyansı nasıl hesaplanır

türetme

piton kodu