Stein’in paradoksunun neden sadece boyutlarda geçerli olduğuna dair sezgi

Stein Örnek gösterir maksimum olabilirlik tahmini olduğu $n$ araçlarla normal dağılım değişkenler $\mu_1,\ldots,\mu_n$ ve sapma $1$ IFF (kare işlev kaybı altında) kabul edilemez $n\ge 3$ . Düzgün bir kanıt için, Büyük Ölçekli Çıkarım'ın ilk bölümüne bakın : Bradley Effron'un Tahmin, Test Etme ve Tahmini için Ampirik Bayes Yöntemleri .

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Benim sorum şudur: $n$ -boyutlu uzayın hangi özelliği ( $n\ge 3$ ) $\mathbb{R}^2$ , Stein'in örneğini kolaylaştıran eksiktir? Olası cevaplar $n$ küresinin eğriliği veya tamamen farklı bir şey olabilir.

Başka bir deyişle, MLE neden \ mathbb {R} ^ 2'de kabul edilebilir $\mathbb{R}^2$?

Düzenleme 1: @mpiktas endişesine yanıt olarak 1.30'dan sonraki 1.31'e:

Düzenleme 2 : Bu yazıda Stein, MLE'nin için kabul edilebilir olduğunu kanıtlıyor .$N=2$

Bir -çok-değişkenli normal rastgele değişkenin ortalamasının kabul edilebilirliği için ve vakaları arasındaki ikilik kesinlikle şok .d ≥ 3 $d < 3$$d \geq 3$$d$

Olasılık ve istatistikte, ve vakaları arasında bir ikilik olduğu bir başka çok ünlü örnek var . Bu, kafesindeki basit rastgele yürüyüşün . Yani, -boyutlu basit rastgele yürüyüş 1 veya 2 boyutta tekrarlanır, ancak boyutlarında geçicidir . Sürekli zamanlı analog (Brownian hareketi şeklinde) de tutar.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

İkisinin birbiriyle yakından ilişkili olduğu ortaya çıktı.

Larry Brown , iki sorunun esasen eşdeğer olduğunu kanıtladı. Yani, en iyi değişmez tahminci boyutlu çok değişkenli normal ortalama vektörün , yalnızca boyutlu Brownian hareketinin tekrarlayan olması durumunda kabul edilebilir .$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

Aslında, onun sonuçları çok daha ileri gidiyor . İçin herhangi bir makul (yani, genel Bayes) tahmin ile belirlenmiş (genelleştirilmiş) riski, bir açık olduğunu (!) 'E uygun boyutlu difüzyon şekilde tahmin edicisi , ancak karşılık gelen difüzyonu tekrarlayan ise kabul edilebilir.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Bu difüzyon yerel ortalama yani, aslında iki Tahmincilerin arasındaki tutarsızlık olduğunu ve difüzyon kovaryans olduğunu . Bundan, MLE , Brownian hareketini (ölçeklendirilmiş) kurtardığımızı görmek kolaydır .$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Dolayısıyla, bir anlamda, stokastik süreçlerin lensleri aracılığıyla kabul edilebilirlik sorununu görebilir ve istenen sonuçlara ulaşmak için iyi çalışılmış difüzyon özelliklerini kullanabiliriz.

Referanslar

1. L. Brown (1971). Kabul edilebilir tahmin ediciler, tekrarlayan yayınımlar ve çözülmeyen sınır değer problemleri . Ann. Matematik. Stat. , vol. 42, hayır. 3, sayfa 855-903.
2. RN Bhattacharya (1978). Çok boyutlu difüzyonlar için nüks ve değişmez önlemlerin varlığı için kriterler . Ann. Prob. , vol. 6, hayır. 4, 541-553.

@cardinal harika bir cevap verdi (+1), ancak ispatlara aşina olmadıkça, bütün mesele gizemli kalıyor (ve ben değilim). Bence bu soru , Stein'in paradoksunun ve görünmemesinin sezgisel bir sebebi olarak kalmaya devam ettiğini düşünüyorum .$\mathbb R$$\mathbb R^2$

1990'da Stephen Stigler'de, Büzülme Tahmin Edicilere İlişkin Galtonca bir Bakış Açısı'nda sunulan bir gerileme perspektifini çok faydalı buluyorum . Her biri altta yatan (gözlemlenmemiş) ve örneklemelerini ölçen bağımsız ölçümler göz önünde bulundurun . Bir şekilde çiftlerinin bir dağılım grafiğini yapabiliriz :θ i N- ( θ i , 1 ) θ ı ( x i , θ i$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Çapraz çizgi , sıfır gürültüye ve mükemmel kestirime karşılık gelir; gerçekte gürültü sıfır değildir ve böylece noktalar çapraz çizgiden yatay yönde kaydırılır . Correspondinly, bir regresyon çizgisi olarak görülebilmektedir ile . Bununla birlikte, biz biliyoruz ve tahmin etmek istiyoruz , bu nedenle şekil üzerinde (kesikli çizgi) gösterildiği gibi yatay olarak eğimli, farklı bir eğimde olacak olan üzerindeki regresyon çizgisini göz önünde bulundurmalıyız .θ = X X θ X θ θ $\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Stigler'ın makalesinden alıntı:

Stein paradoksuna dair bu Galton perspektifi neredeyse şeffaf hale getiriyor. "Sıradan" tahminciler , üzerindeki teorik regresyon çizgisinden türetilir . Amacımız tahmin etmek olsaydı, bu hat yararlı olacağını den , ama bizim sorunun yani tahmin etmek, tersidir gelen kare hataları toplamını kullanarak olarak bir kriter. Bu kriter için, optimum lineer tahmin ediciler , üzerindeki en küçük kareler regresyon çizgisi ile verilir.XθXθθXΣ(θi - θ i)2θ$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$ve James-Stein ve Efron-Morris tahmin edicileri, bu optimum lineer tahmin edicilerin tahmin edicileridir. "Sıradan" tahmin ediciler yanlış regresyon çizgisinden, James-Stein ve Efron-Morris tahmin edicilerinden yaklaşımlardan doğru regresyon çizgisine elde edilir.

Ve şimdi çok önemli biti geliyor (vurgu eklendi):

Hatta neden görebilirsiniz gereklidir: Eğer ya da , en küçük kareler hattı ile noktaları üzerinden geçmesi gereken ve dolayısıyla için ya da , (iki regresyon çizgileri ile ve ile ) her birine uyumlu olmalıdır .k = 1 2 θ X ( X i , θ i ) k = 1 2 X θ θ X X $k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Bence bu, ve ilgili neyin özel olduğunu açıkça ortaya koyuyor .k = $k=1$$k=2$