Minimum tahmin ediciyi iyileştirme

Ben olduğunu varsayalım tahmin etmek olumlu parametreleri ve onların tekabül tahmincileri tarafından üretilen tarafsız tahminler , yani , vb.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Ben tahmin etmek istiyorum el altında tahminleri kullanılarak. Açıkça naif tahmin gibi düşük bastırılmaktadır $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Aynı zamanda, ilgili tahmin ediciler kovaryans matrisim olduğunu varsayalım . Verilen tahminler ve kovaryans matrisi kullanılarak tarafsız (veya daha az önyargılı) bir minimum tahmin elde etmek mümkün müdür?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

Tarafsız tahmin edicinin varlığı hakkında net bir cevabım yok. Ancak, tahmin hatası açısından, genel olarak zor bir sorundur.$\min(\mu_1, \dots, \mu_n)$

Örneğin, ve . Let hedef miktarı ve olmak ait bir tahmindir . "Saf" tahmin edici burada , sonra tahmin hatası sabit. (Not her için tahmin hatası isimli ). Elbette, eğer$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$'ler birbirlerinden uzakta ve çok küçük, tahmin hatası olarak azaltılmalıdır . Ancak, en kötü durumda, hiçbir tahmin var naif tahmincisi daha iyi çalışır. Sen tam gösterilebileceği anlamına infimum tüm olası estiamte alır burada örnek göre ve sup tüm olası konfigürasyonu alır Var.$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Bu nedenle saf kestirimci sabit olana kadar minimaks optimaldir ve bu anlamda daha iyi bir tahmini yoktur .$\theta$

DÜZENLEME: Aşağıdaki sorulan sorudan farklı bir soruya cevap verir - rasgele kabul edilir gibi çerçevelenir , ancak sabit kabul edildiğinde çalışmaz , bu muhtemelen OP'nin aklında olan şeydir. Eğer sabittir, ben daha iyi bir cevabım yok$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Yalnızca ortalama ve kovaryans tahminlerini dikkate alırsak, çok değişkenli normal dağılımdan tek bir örnek olarak ele alabiliriz. Minimumun bir tahminini almanın basit bir yolu, çok sayıda örnek çizmek , her örneğin minimumunu hesaplamak ve daha sonra bu minimanın ortalamasını almaktır.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Yukarıdaki prosedür ve sınırlamaları Bayes açısından anlaşılabilir - arasından gösterimini almak MVN'nin Wikipedia ise, tahmin edicileri bilinen kovaryans olan ve bir gözlem olan, ortak arka dağılımı burada ve önceki yerden kaynaklanmaktadır, herhangi bir veriyi gözlemlemeden önce ). Muhtemelen üzerinde sabıkası koymak için istekli olmadığından , biz sınırı alabilir düz öncesinde ve posterior olur sonuçlanan$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Bununla birlikte, önceki daire göz önüne alındığında, öğelerinin çok farklı olduğu varsayımını yapıyoruz (tüm gerçek sayılar eşit derecede olasıysa, benzer değerler elde etmek pek olası değildir).$\mu$

Bir hızlı simülasyon programları, bu prosedür biraz abartılı ile tahmin unsurları çok ve hafife farklıdır elemanları benzerdir. Herhangi bir ön bilgi olmadan bunun doğru davranış olduğu söylenebilir. En azından bazı önceki bilgileri belirtmek istiyorsanız (örn. ), sonuçlar kullanım durumunuz için biraz daha iyi davranabilir.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Daha fazla yapı almaya istekliyseniz, normalde çok değişkenli olandan daha iyi bir dağılım seçebilirsiniz. Ayrıca tahminlerine uyacak şekilde Stan veya diğer MCMC örnekleyiciyi kullanmak da mantıklı olabilir . Bu, kovaryans yapıları (muhtemelen MVN'nin sağlayabileceğinden daha zengin) dahil olmak üzere, tahmin edicilerdeki belirsizliği yansıtan bir dizi . Bir kez daha, minima üzerinde posterior dağılım elde etmek için her bir numunenin minimum değerini hesaplayabilir ve bir nokta tahminine ihtiyacınız varsa bu dağılımın ortalamasını alabilirsiniz.$\mu$$(\mu_1, ..., \mu_n)$