Bayes güvenilir aralık prosedürleri için karar teorik gerekçesi nedir?

(Bunu neden yazdığımı görmek için, bu soruya verdiğim yanıtın altındaki yorumları kontrol edin .)

Tip III hataları ve istatistiksel karar teorisi

Yanlış soruya doğru cevabı vermek bazen Tip III hatası olarak adlandırılır. İstatistiksel karar teorisi, karar almanın belirsizlik altında resmileştirilmesidir; tip III hatalarından kaçınmaya yardımcı olabilecek kavramsal bir çerçeve sağlar. Çerçevenin ana unsuru kayıp fonksiyonu olarak adlandırılır . İki argüman alır: birincisi dünyanın gerçek durumudur (ilgili altkümesi) (örneğin, parametre tahmin problemlerinde, gerçek parametre değeri $\theta$ ); İkinci olası eylemlerin sette bir elementtir (parametre tahmini sorunları, örneğin, tahmin θ )$\hat{\theta})$. Çıktı, dünyanın olası her gerçek durumuna göre olası her eylemle ilişkili kaybı modeller. Örneğin, parametre tahmin problemlerinde, iyi bilinen bazı kayıp fonksiyonları:

• mutlak hata kaybı $L(\theta, \hat{\theta}) = |\theta - \hat{\theta}|$
• karesel hata kaybı $L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$
• Hal Varian sitesindeki LINEX kaybı $L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0$

Soruyu bulmak için cevabı inceleme

Bir tip III hatalarının, doğru bir kayıp fonksiyonunun formüle edilmesine ve karar-teorik yaklaşımın geri kalan kısmına (burada ayrıntılı olarak açıklanmadan) odaklanarak önlenebileceği bir durum vardır. Bu benim özetim değil - sonuçta, istatistikçiler böyle bir yaklaşımdan türetilmemiş olsalar bile iyi çalışan birçok teknik ve yöntemle iyi donanımlılar. Ama sonuçta, bana göre, istatistikçilerin büyük çoğunluğu istatistiksel karar teorisini bilmiyor ve umursamıyorlar ve bence kaçırıyorlar. Bu istatistikçiler için, Tip III hatadan kaçınma açısından istatistiksel karar teorisini değerli bulabilmelerinin nedeni, önerilen herhangi bir veri analizi prosedürünün sorulması için bir çerçeve sağlamasıdır:prosedür hangi kayıp fonksiyonu (varsa) ile en iyi şekilde başa çıkıyor?Yani, hangi karar alma durumunda, en iyi cevabı veriyor?

Posterior beklenen kayıp

Bayesci bir bakış açısından, kayıp fonksiyonu ihtiyacımız olan tek şeydir. Biz hemen hemen karar teorisi geri kalanını atlayabilirsiniz - neredeyse tanım gereği, yapılacak en iyi şey kaybını en aza indirmek arka beklenen etmektir olduğunu, aksiyon bulmak $a$ bu en aza indirir $\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta$ .

? Özellikle, Wald '- (Ve olmayan Bayes perspektifler Well gelince, bu frequentist karar teorisinin bir teoremi olan Komple Sınıf Teoremi o - Optimum eylem her zaman olacaktır Bayes posterior beklenen kaybını en aza indirmek açısından bazı ) (muhtemelen yanlış Bu sonuçla ilgili zorluk, bir varoluş teoreminin hangi kullanımdan önce rehberlik vermediğidir.Ancak tam olarak hangi sorunun olduğunu anlamak için "tersine çevirebileceğimiz" prosedür sınıfını verimli bir şekilde kısıtlar. Özellikle, Bayesci olmayan herhangi bir prosedürü tersine çevirmenin ilk adımı, (eğer varsa) hangi Bayesci prosedürü çoğalttığını veya yaklaşık olarak tahmin ettiğini bulmaktır.)

Hey Cyan, bunun bir Soru-Cevap sitesi olduğunu biliyorsun, değil mi?

Bu da beni - sonunda - istatistiksel bir soruya getiriyor. Bayesci istatistiklerde, tek değişkenli parametreler için aralık tahminleri sağlarken, iki yaygın güvenilir aralık prosedürü, kantil bazlı güvenilir aralık ve en yüksek posterior yoğunluk güvenilir aralığıdır. Bu prosedürlerin ardındaki kayıp fonksiyonları nelerdir?

Tek değişkenli aralık tahmininde, olası eylemler kümesi, aralığın bitiş noktalarını belirten sıralı çiftler kümesidir. Bu kümenin bir öğesinin ile temsil edilmesine izin verin .$(a, b),\text{ } a \le b$

En yüksek arka yoğunluk aralıkları

Posterior yoğunluk . En yüksek posterior yoğunluk aralıkları, gerçek değeri içermeyen bir aralığı cezalandıran ve aynı zamanda uzunlukları ile orantılı olarak aralıkları cezalandıran kayıp işlevine karşılık gelir:$f(\theta)$

,$L_{HPD}(\theta, (a, b); k) = I(\theta \notin [a, b]) + k(b – a), \text{} 0 < k \le max_{\theta} f(\theta)$

burada olan gösterge fonksiyonu . Bu beklenen posterior kaybı verir$I(\cdot)$

.$\tilde{L}_{HPD}((a, b); k) = 1 - \Pr(a \le \theta \le b|D) + k(b – a)$

Ayar , parametre alanının iç kısmında yerel bir optimum için gerekli koşulu verir:f(a)=f(b)=$\frac{\partial}{\partial a}\tilde{L}_{HPD} = \frac{\partial}{\partial b}\tilde{L}_{HPD} = 0$$f(a) = f(b) = k$ - beklendiği gibi HPD aralıkları için kural.

Formu HPD aralıkları monoton artan dönüşümü değişmez değildir neden da bir fikir verir g ( θ ) parametrenin. Θ ile uzay HPD aralığı dönüştürülmüştür g ( θ ) alanı farklıdır g ( θ ) ile uzay HPD aralığı iki aralıklarında farklı kaybı fonksiyonlara karşılık gelir, çünkü: g ( θ $\tilde{L}_{HPD}((a, b); k)$$g(\theta)$$\theta$$g(\theta)$$g(\theta)$$g(\theta)$boşluk HPD aralığı dönüştürülmüş bir uzunluk cezasına karşılık gelir .$k(g(b) – g(a))$

Quantile dayalı güvenilir aralıklar

Kayıp fonksiyonu ile nokta tahminini göz önünde bulundurun

.$L_q(\theta, \hat{\theta};p) = p(\hat{\theta} - \theta)I(\theta < \hat{\theta}) + (1-p)(\theta - \hat{\theta})I(\theta \ge \hat{\theta}), \text{ } 0 \le p \le 1$

Posterior beklenen kayıp

$\tilde{L}_q(\hat{\theta};p)=p(\hat{\theta}-\text{E}(\theta|\theta < \hat{\theta}, D)) + (1 - p)(\text{E}(\theta | \theta \ge \hat{\theta}, D)-\hat{\theta})$ .

Ayar verimleri örtülü denklemi$\frac{d}{d\hat{\theta}}\tilde{L}_q=0$

$\Pr(\theta < \hat{\theta}|D) = p$

$\hat{\theta}$$(100p)$

Böylece, kantil bazlı aralık tahminleri elde etmek için, kayıp fonksiyonu

$L_{qCI}(\theta, (a,b); p_L, p_U) = L_q(\theta, a;p_L) + L_q(\theta, b;p_U)$.

Intervals of minimal size

One obvious choice of a loss function for interval selection (both Bayesian and frequentist) is to use the size of the intervals as measured in terms of the marginal distributions. Thus, start with the desired property or the loss function, and derive the intervals that are optimal. This tends not to be done, as is exemplified by the present question, even though it is possible. For Bayesian credible sets, this corresponds to minimize the prior probability of the interval, or to maximize the relative belief, e.g., as outlined in Evans (2016). The size may also be used to select frequentist confidence sets (Schafer 2009). The two approaches are related and can be implemented fairly easily via decision rules that preferentially included decisions with large pointwise mutual information (Bartels 2017).

Bartels, C.,2017. Using prior knowledge in frequentist tests. figshare. https://doi.org/10.6084/m9.figshare.4819597.v3

Evans, M., 2016. Measuring statistical evidence using relative belief. Computational and structural biotechnology journal, 14, pp.91-96.

Schafer, C.M. and Stark, P.B., 2009. Constructing confidence regions of optimal expected size. Journal of the American Statistical Association, 104(487), pp.1080-1089.