Ağırlıklı kare yanlılığı ve varyansı toplamını en aza indiren bir tahminci karar teorisine nasıl uyuyor?

Tamam - orijinal mesajım yanıt alamadı; soruyu farklı bir şekilde ifade edeyim. Tahmin anlayışımı bir karar teorik perspektifinden açıklayarak başlayacağım. Resmi bir eğitimim yok ve düşüncem bir şekilde kusurlu olursa beni şaşırtmaz.

Bazı kayıp fonksiyonlarımız olduğunu varsayalım $L(\theta,\hat\theta(x))$. Beklenen kayıp (sıklık) riskidir:

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

nerede $\mathcal{L}(\theta,\hat\theta(x))$olabilir; ve Bayes riski beklenen sık görülen risktir:

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

nerede $\pi (\theta)$ bizim önceliğimizdir.

Genel olarak, $\hat\theta(x)$ en aza indiren $r$ve tüm bunlar iyi sonuç verir; ayrıca Fubini teoremi uygulanır ve bütünleşme sırasını tersine çevirebiliriz.$\hat\theta(x)$ en aza indirir $r$diğerlerinden bağımsızdır. Bu şekilde olabilirlik ilkesi ihlal edilmez ve Bayesci olmak vb. Hakkında iyi hissedebiliriz.

Örneğin, bilindik kare hata kaybı göz önüne alındığında, $L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$ bizim sıklık riskimiz, ortalama kare hatası veya kare yanlılık ve varyansın toplamıdır ve Bayes riskimiz, önceden verilmiş olan kare önyargı ve varyansın beklenen toplamıdır - yani posteriori beklenen kayıp.

Bu şimdiye kadar bana mantıklı geliyor (her ne kadar oldukça yanlış olabilirim); ancak, her halükarda, bazı diğer hedefler için işler bana daha az mantıklı geliyor. Örneğin, eşit ağırlıklı kare önyargı ve varyansın toplamını en aza indirmek yerine, eşit olmayan ağırlıklı bir toplamı en aza indirmek istediğimi varsayalım - yani,$\hat\theta(x)$ bu en aza indirir:

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

nerede $k$ bazı pozitif gerçek sabittir (1 dışında).

Bu terimi yanlış kullandığım halde, tipik olarak böyle bir toplamı "nesnel işlev" olarak adlandırıyorum. Benim sorum bir çözüm bulmakla ilgili değil -$\hat\theta(x)$ bu nesnel işlevi en aza indirgemek sayısal olarak yapılabilir - daha doğrusu sorum iki yönlüdür:

1. Böyle nesnel bir işlev karar teorisi paradigmasına uygun olabilir mi? Değilse, sığdığı başka bir çerçeve var mı? Evet ise, nasıl? İlişkili kayıp fonksiyonunun,$\theta$, $\hat\theta(x)$, ve $\mathbb{E}[\hat\theta(x)]$- ki bu - beklenti nedeniyle - (sanırım) uygun değil.

2. Böyle bir nesnel işlev olasılık ilkesini ihlal eder, çünkü verilen herhangi bir tahmin $\hat\theta(x_{j})$ diğer tüm tahminlerine bağlıdır $\hat\theta(x_{i\neq j})$(varsayımsal olanlar bile). Bununla birlikte, sapmada bir azalma için hata varyansında bir artışın ticaretinin arzu edildiği durumlar vardır. Böyle bir amaç göz önüne alındığında, sorunu olasılık ilkesine uyacak şekilde kavramsallaştırmanın bir yolu var mı?

Karar teorisi / tahmini / optimizasyonu ile ilgili bazı temel kavramları anlayamadığımı varsayıyorum. Herhangi bir cevap için şimdiden teşekkür ederiz ve bu alanda veya daha genel olarak matematik eğitimi olmadığım için hiçbir şey bilmediğimizi varsayalım. Ek olarak, (naif okuyucu için) önerilen referanslar takdir edilmektedir.

Bu oldukça ilginç ve yeni bir soru! Resmi düzeyde, sık risk fonksiyonunu kullanma

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ (örneğin) olarak tanımlanan kayıp fonksiyonunun kullanılması $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ çünkü beklentileri yasaklamak için hiçbir neden yok $\mathbb{E}_\theta[\hat\theta(X)]$kaybı işlevinde görünmesini sağlar. Tüm dağılımına bağlı olduklarını$\hat{\theta}(X)$ tuhaf görünebilecek bir özelliktir, ancak tüm dağıtım, $\theta$ ve sonuçta ortaya çıkan kayıp, $\theta$, $\hat{\theta}$ ve dağıtımı $\hat{\theta}(X)$.

Kayıp fonksiyonuna gelen bir itirazı mükemmel bir şekilde tahmin edebilirim $L(\theta,\delta)$ prensipte bir doğa durumunun işlevidir, $\theta$ve bir eylemin, $\delta$, örneğin parametre alanında $\Theta$dolayısıyla hiçbir dağıtım varsayımı içermez. Bu oyun teorisi açısından doğrudur. Ancak bunun istatistiksel karar teorisi olduğu göz önüne alındığında,$\delta$ gözlemine bağlı olacak $x$ rastgele bir değişkenin $X$, Kayıp fonksiyonunun genellemesinin, $X$, dizine ekledi $\theta$, düşünülemedi. Olabilirlik ilkesini ihlal edebileceğinin karar teorisi için doğrudan bir endişesi yoktur ve bir Bayes tahmincisinin resmi türetilmesini engellemez.