Bayesian istatistiklerinde çok yeniyim ve bu aptalca bir soru olabilir. Yine:

Düzgün bir dağılım belirten bir öncekiyle güvenilir bir aralık düşünün. Örneğin, 0 dan 1 e kadar, burada 0 dan 1 e kadar bir etkinin olası tüm değerleri temsil eder. Bu durumda,% 95 güvenilir bir aralık% 95 güven aralığına eşit olur mu?

Pek çok sık sık güven aralığı (CI) olabilirlik fonksiyonuna dayanır. Eğer önceki dağılım gerçekten bilgilendirici değilse, Bayes posterioru temelde olabilirlik fonksiyonu ile aynı bilgiye sahiptir. Sonuç olarak, pratikte, Bayesçi bir olasılık aralığı (veya güvenilir aralık) sayısal olarak sıkça güven aralığına çok benzeyebilir . Elbette, sayısal olarak benzer olsa bile, sık ve Bayesian aralık tahminleri arasındaki yorumlamada felsefi farklılıklar vardır .

İşte basit bir örnek, binom başarı olasılığını tahmin etmek başarı ile gözlem (deneme) yaptığımızı varsayalım .$\theta.$$n = 100$$X = 73$

Sıkça belirtin: Geleneksel Wald aralığı , nokta tahminini kullanır Ve% 95 CI formda olan hangi hesaplarİçeride ISTV melerin RWMAIWi'nin ±1.96$\hat \theta = X/n = 73/100 = 0.73.$

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

CI Bu şekilde, ilgili binom dağılımları normal olanlar tarafından ve hata marjı bu yaklaşıklanabileceği kabul de yaklaşılır Özellikle küçük için bu varsayımlar gerçek olması gerekmez. [ veya bulunduğu durumlar özellikle sorunludur.]$\sqrt{\theta(1-\theta)/n}$n,X=0X=$\sqrt{\hat\theta(1-\hat\theta)/n}.$$n,$$X = 0$$X = n$

Agresti-Coull CI daha doğru kapsama olasılığı olduğu gösterilmiştir. Bu aralık, '% 95'e yakın bir kapsama olasılığı elde etmek için' iki Başarı ve iki Hata 'ekler. Bu nokta tahmini ile başlar burada Daha sonra, bir% 95 CI formda olan hesaplarİçin ve güven aralıkları bu iki stilleri arasındaki fark neredeyse önemsizdir. ~ n +4 ~ θ ±1.96$\tilde \theta = (X+2)/\tilde n,$$\tilde n + 4.$(0.612,0.792). n>1000.3<~θ<0.7

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

Bayes dili: Bu durumda önceden bilgi vermeyen popüler bir kişiOlabilirlik işlevi ile orantılıdır Önceki ve muhtemel çekirdeği ile , posterior dağılımının çekirdeği var $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$$\theta^x(1-\theta)^{n-x}.$$\mathsf{Beta}(x+1,\, n-x+1).$

Daha sonra% 95'lik bir Bayesian aralık tahmini, elde etmek için posterior dağılımın 0.025 ve Önceki dağılım "düz" veya "bilgi içermeyen" olduğunda, Bayesian olasılık aralığı ile Agresti-Coull güven aralığı arasındaki sayısal fark azdır.$(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

Notlar: (a) Bu durumda, bazı Bayesliler bilgi vermeyen önceliğini tercih ederler(b)% 95 dışındaki güven seviyeleri için, Agresti-Coull CI biraz farklı bir nokta tahmini kullanır. (c) Binom dışındaki veriler için, önceden 'düz' bir seçenek olmayabilir, ancak biri çok az bilgi taşıyan büyük bir varyansa (küçük hassasiyet) sahip bir önceliği seçebilir. (d) Agresti-Coull CI'leri, kapsama alanı olasılıklarının grafiklerini ve bazı referansları daha fazla tartışmak için belki de bu soru ve cevapları görün .$\mathsf{Beta}(.5, .5).$

BruceET'in cevabı mükemmel fakat oldukça uzun, işte size hızlı ve pratik bir özet:

• Öncelik düzse, olasılık ve poster aynı şekle sahipse
• Ancak, aralıklar mutlaka aynı değildir, çünkü farklı şekillerde yapılırlar. Standart bir Bayesian% 90 CI, posteriorun% 90'ını kapsar. Sık kullanılan bir CI genellikle nokta bazında bir karşılaştırma ile tanımlanır (BruceET'in cevabına bakınız). Sınırlandırılmamış bir konum parametresi için (örneğin normal dağılımın ortalamasını tahmin etme), fark genellikle küçüktür, ancak sınırlara yakın (0/1) sınırlandırılmış bir parametre (örneğin binom ortalaması) tahmin ederseniz, farklar önemli olabilir.
• tabiki, yorumlama da farklı, ancak soruyu temelde “değerler ne zaman aynı olacak?” olarak yorumluyorum.

Bir kişi sık sık güven aralığına eşit, güvenilir bir aralık üreten bir önceliği çözebilirken, uygulama kapsamının ne kadar dar olduğunun fark edilmesi önemlidir. Tüm tartışma, örneklem boyutunun sabit olduğunu ve rastgele bir değişken olmadığını varsaymaktadır. Verilere yalnızca bir bakış atıldığını ve ardışık çıkarım yapılmadığını varsayar. Yalnızca bir bağımlı değişken olduğunu ve başka hiçbir parametrenin ilgilenmediğini varsayar. Çoklukların olduğu yerlerde, Bayesçi ve sık aralıklarla aralıklar birbirinden uzaklaşır (Bayesçi arka olasılıkları ileri-zaman tahmin modundadır ve "buraya nasıl geldiğimizi" düşünmemize gerek yoktur, bu nedenle çoklu görünüm için ayarlama yapmanıza gerek yoktur). Ek olarak,

Büyük olasılıkla $\neq$ düz önce Bayes

Olabilirlik fonksiyonu ve güven aralığı ile ilişkili, tekdüze bir dağılımı belirleyen bir öncekiyle oluşturulmuş bir Bayesian arka olasılık ile aynı değildir (kavram).

Bu cevabın 1. ve 2. bölümünde , olasılığın neden daha önce bir daireye dayanan Bayesian arka olasılığı olarak görülmemesi gerektiği tartışılmaktadır.

Bölüm 3'te güven aralığı ve güvenilir aralığın geniş ölçüde değiştiği bir örnek verilmiştir. Ayrıca, bu tutarsızlığın nasıl ortaya çıktığı da belirtiliyor.

1 Değişken dönüştürüldüğünde farklı davranışlar

Olasılıklar belirli bir şekilde dönüşüyor . Eğer $f_x(x)$ olasılık dağılım dağılımını biliyorsak , dönüşüm kuralına göre, x = χ ( ξ ) fonksiyonlarından herhangi biri tarafından tanımlanan ξ değişkeni için $f_\xi(\xi)$ dağılımını da biliyoruz :$\xi$$x=\chi(\xi)$

Bir değişkeni dönüştürürseniz, ortalama ve mod, dağıtım işlevindeki bu değişiklik nedeniyle değişebilir. Bu, $\bar{x} \neq \chi(\bar{\xi})$ ve $x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$ .

Olabilirlik fonksiyonu yok değil bu şekilde dönüşümü . Bu olabilirlik fonksiyonu ile arka olasılık arasındaki karşıtlıktır . Değişkenleri dönüştürdüğünüzde (en fazla) olabilirlik işlevi aynı kalır .

İlgili:

• Önceki ev belirsizdir . Belirli bir istatistik biçimine bağlıdır.

  Örneğin, $X$ (örneğin, dağıtılmış homojendir $\mathcal{U}(0,1))$ , o zaman $X^2$ olduğu değil muntazam dağılmış değişkeni.

  Olabilirlik işlevini ilişkilendirebileceğiniz tek bir daire yoktur . Eğer düz önceden tanımlayan zaman farklı $X$ ya da bu gibi bir dönüştürülmüş değişkeni $X^2$ . Büyük olasılıkla için bu bağımlılık yok değil var.

• Olasılığın sınırları (güvenilirlik aralıkları) değişkeni dönüştürdüğünüzde farklı olacaktır (olabilirlik işlevleri için bu böyle değildir) . Örneğin, bazı parametre $a$ ve monotonik bir dönüşüm $f(a)$ (örneğin logaritma) için, eşdeğer olabilirlik aralıklarını

  $$\begin{array}{ccccc} a_{\min} &<& a &<& a_{\max}\\ f(a_{\min}) &<& f(a) &<& f(a_{\max}) \end{array}$$

2 Farklı konsepti: güven aralıkları olan bağımsız önce gelen

Bir $X$ değişkenini (bilinmeyen) $\theta$ parametresine sahip bir popülasyondan (örneğin, $\theta$ parametresi olan popülasyon ) bir süper popülasyondan (muhtemelen $\theta$ için değişken değerlere sahip) örneklendiğini varsayalım .

Kişi, orijinal $\theta$X değişkeni için bazı $x_i$ değerlerini gözlemlemeye dayanarak ne olabileceğini ortaya çıkarmaya çalışan ters bir ifade verebilir .$X$

• Bayesian yöntemleri bunu mümkün θ dağılımı için önceden bir dağıtım varsayarak yapar.$\theta$
• Bu , önceki dağıtımdan bağımsız olan olasılık fonksiyonu ve güven aralığı ile çelişir .

Güven aralığı yok değil yapar (güven bir olasılık değildir) inandırıcı aralık gibi bir önceki bilgisini kullanırlar.

Önceden dağıtılmasından bağımsız olarak (homojen olsun olmasın) % x güven aralığı , vakaların $x%$ değerinde gerçek parametreyi içerecektir (güven aralıkları, belirli bir durumda değil, yöntemin başarı oranına, tip I hatasını ifade eder).

Güvenilir aralık söz konusu olduğunda bu kavram ($%$aralığının gerçek parametresi var o zaman) bile geçerli değildir, ama biz frequentist anlamda tefsir edebilir ve sonra biz güvenilir aralık tek gerçek parametreyi içerecek gözlemlemek ait $x%$ (üniforma) öncesinde doğru olduğunda zamanın Karşılaşabileceğimiz parametrelerin süper popülasyonunu tanımlamak. Aralık etkili bir şekilde% x'den daha yüksek veya daha düşük performans gösteriyor olabilir (Bayesian yaklaşımı farklı soruları yanıtladığından bu önemli değil, sadece farkı belirtmek gerekir).

3 Güven ve güvenilir aralıklar arasındaki fark

$\lambda$$\bar{x}$$n$

$n$$\lambda$$\bar{x}$$\bar{x}+dx$

^{not: oran parametresi $\lambda$ den gider $0$ için $\infty$ (OP 'isteğinin aksine $0$ için $1$). Bu durumda bir önceki bir uygunsuz olacaktır . Ancak ilkeler değişmez. Daha kolay gösterim için bu perspektifi kullanıyorum. Parametreler arasında dağılımlar$0$ ve $1$ genellikle kesikli dağılımlar (sürekli çizgiler çizmek zor) veya bir beta dağılım (hesaplamak zor)}

Aşağıdaki resim örnekleme boyutu için bu olasılık fonksiyonunu (mavi renkli harita) göstermektedir. $n=4$, and also draws the boundaries for the 95% intervals (both confidence and credible).

The boundaries are created obtaining the (one-dimensional) cumulative distribution function. But, this integration/cumulation can be done in two directions.

The difference between the intervals occurs because the 5% area's are made in different ways.

• The 95% confidence interval contains values $\lambda$ for which the observed value $\bar{x}$ would occur at least in 95% of the cases. In this way. whatever the value $\lambda$, we would only make a wrong judgement in 95% of the cases.

  For any $\lambda$ you have north and south of the boundaries (changing $\bar{x}$) 2.5% of the weight of the likelihood function.

• The 95% credible interval contains values $\lambda$ which are most likely to cause the observed value $\bar{x}$ (given a flat prior).

  Even when the observed result $\bar{x}$ is less than 5% likely for a given $\lambda$, the particular $\lambda$ may be inside the credible interval. In the particular example higher values of $\lambda$ are 'preferred' for the credible interval.

  For any $\bar{x}$ you have west and east of the boundaries (changing $\lambda$) 2.5% of the weight of the likelihood function.

A case where confidence interval and credible interval (based on improper prior) coincide is for estimating the mean of a Gaussian distributed variable (the distribution is illustrated here: https://stats.stackexchange.com/a/351333/164061 ).

An obvious case where confidence interval and credible interval do not coincide is illustrated here (https://stats.stackexchange.com/a/369909/164061). The confidence interval for this case may have one or even both of the (upper/lower) bounds at infinity.

This is not generally true, but it may seem so because of the most frequently considered special cases.

Consider $X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$ The interval $\big(\min\{X,Y\},\max\{X,Y\}\big)$ is a $50\%$ confidence interval for $\theta,$ albeit not one that anyone with any common sense would use. It does not coincide with a $50\%$ credible interval from the posterior from a flat prior.

Fisher's technique of conditioning on an ancillary statistic does in this case yield a confidence interval that coincides with that credible interval.

From my reading, I thought this statement is true asymptotically, i.e. for large sample size, and if one uses an uninformative prior.

A simple numerical example would seem to confirm this - the 90% profile maximum likelihood intervals and 90% credible intervals of a ML binomial GLM and Bayesian binomial GLM are indeed virtually identical for n=1000, though the discrepancy would become larger for small n :

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

As you can see, in the example above, for n=1000, the 90% profile confidence intervals of a binomial GLM are virtually identical to the 90% credible intervals of a Bayesian binomial GLM (the difference is also within the bounds of using different seeds and different nrs of iterations in the bayesian fits, and an exact equivalence can also not be obtained since specifying a 100% uninformative prior is also not possible with rstanarm or brms).