Eşit olmayan varyanslara sahip James-Stein Tahmincisi

James-Stein tahmincisinin bulduğum her ifade, tahmin edilen rastgele değişkenlerin aynı (ve birim) varyansa sahip olduğunu varsayar.

Ancak bu örneklerin tümü, JS tahmincisinin, birbirleriyle hiçbir ilgisi olmayan miktarları tahmin etmek için kullanılabileceğinden de bahsetmektedir. Wikipedia örneği Montana ışık, Tayvan çay tüketimi ve domuz ağırlığının hızıdır. Ancak muhtemelen bu üç miktardaki ölçümleriniz farklı "gerçek" varyanslara sahip olacaktır. Bu bir sorun yaratıyor mu?

Bu, bu soru ile ilgili anlamadığım daha büyük bir kavramsal soruna bağlanıyor: James-Stein tahmincisi: Efron ve Morris beyzbol örneği için büzülme faktöründe nasıl hesapladılar ? $\sigma^2$ Büzülme faktörü aşağıdaki gibi hesaplıyoruz : $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Sezgisel olarak, teriminin aslında - tahmin edilen her miktar için farklı olduğunu . Ancak bu sorudaki tartışma sadece toplanmış varyansı kullanmaktan bahsediyor ... $\sigma^2$ $\sigma^2_i$

Herkes bu karışıklığı giderebilir eğer gerçekten takdir ediyorum!

estimation shrinkage steins-phenomenon

— exp1orer
kaynak

Varyans ise, James-Stein sorununa geri dönmek için hemen çarpabiliriz . Eğer bilinmeyen, ancak sorun her "gözlem" temelinde hesaplanan bir örnek ortalamas gözlemlere biz tahmin edebilir bazılarıyla ve biz yan çarpma öncesi eğer biz de bir James-Stein durumu olsun umut yerine.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— adam

@guy: Bu mantıklı bir öneri (+1), ancak bu tüm değişkenler için aynı büzülme faktörüne yol açacak, oysa değişkenler değişkenlik / belirsizliklerine bağlı olarak farklı şekilde küçültmek isteyecektir. Az önce gönderdiğim yanıtı görün.

— amip

@amoeba Tabii; Tahmincimin pratik olduğunu öne sürmüyordum, sadece insanların OP'nin ikinci paragrafında neden bahsettiklerini neden söylediğini resmediyordum.

— adam

Bu soru, 1970'lerde Efron ve Morris tarafından yazılan Ampirik Bayes bağlamında James-Stein tahmincisi hakkındaki klasik dizi makalelerde açıkça cevaplanmıştır. Ben esas olarak:

Efron ve Morris, 1973, Stein'ın Tahmin Kuralı ve Rakipleri - Ampirik Bayes Yaklaşımı
Efron ve Morris, 1975, Stein Tahmincisi ile Veri Analizi ve Genellemeleri
Efron ve Morris, 1977, Stein'ın İstatistik Paradoksu

1977 makalesi, mutlaka okunması gereken teknik olmayan bir sergi. Orada beyzbol vuruş örneğini tanıttılar (bağlandığınız iş parçacığında tartışılıyor); bu örnekte, gözlem varyanslarının aslında tüm değişkenler için eşit olduğu varsayılmaktadır ve büzülme faktörü sabittir. $c$

Bununla birlikte, El Salvador'daki bazı şehirlerde toksoplazmoz oranlarını tahmin eden başka bir örnek vermeye devam ediyorlar. Her şehirde farklı sayıda insan araştırılmıştır ve bu nedenle bireysel gözlemlerin (her şehirde toksoplazmoz oranı) farklı varyansları olduğu düşünülebilir (anket yapılan insan sayısı ne kadar azsa, varyans o kadar yüksek). Sezgi, düşük varyans (düşük belirsizlik) olan veri noktalarının yüksek varyans (yüksek belirsizlik) olan veri noktaları kadar güçlü bir şekilde küçültülmesine gerek olmamasıdır. Analizlerinin sonucu, bunun gerçekten gerçekleştiği görülebilecek aşağıdaki şekilde gösterilmektedir:

resim açıklamasını buraya girin

Aynı veri ve analiz çok daha teknik 1975 belgesinde, çok daha zarif bir şekilde (maalesef bireysel varyansları göstermiyor) sunulmaktadır, bkz. Bölüm 3:

resim açıklamasını buraya girin

Orada, aşağıdaki gibi basitleştirilmiş bir Ampirik Bayes tedavisi sunarlar. Let bilinmemektedir. Durumda, tüm özdeş standart Deneysel Bayes tedavi tahmin etmektir olarak ve a posteriori ortalama hesaplamak için olarak hiçbir şey James-Stein tahmincisinden başka.

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

Şimdi ise , daha sonra Bayes güncelleme kuraldır ve biz tahmin etmek aynı Deneysel Bayes hile kullanabilirsiniz , bu durumda için kapalı formül olmasa da (makaleye bakınız). Ancak, $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

... tüm eşit olduğunda bu kural ve bunun yerine [1973 belgesinde] elde edilen bu tahmin küçük bir varyantını kullanırız. Varyant kuralı , her şehir için farklı bir değer tahmin eder . Bu durumda kurallar arasındaki fark küçüktür, ancak daha küçükse önemli olabilir . $D_j$ $\hat A_i$ $k$

1973 belgesindeki ilgili bölüm Bölüm 8'dir ve biraz daha zor okunur. İlginçtir, yukarıdaki yorumlarda @guy tarafından yapılan öneri hakkında açık bir yorum var:

Bu durum için James-Stein kurallara ulaşmak çok basit bir şekilde tanımlamaktır , böylece , dönüştürülen verilere [orijinal James-Stein kuralını] uygulayın ve sonra orijinal koordinatlarına geri dönün. Ortaya çıkan kural , tahmin ederHer aynı faktör tarafından orijine doğru küçüldüğünden bu . $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

Sonra devam edip tam olarak okumadığımı itiraf etmem gereken tahmin etmek için tercih ettikleri prosedürü (biraz dahil). Eğer ayrıntılarla ilgileniyorsanız oraya bakmanızı öneririm. $\hat A_i$

— amip
kaynak