Regresyon ortamlarında sık örnekleme dağılımı ne zaman Bayesci posterior olarak yorumlanamaz?


11

Asıl sorularım son iki paragrafta, ancak motive etmek için:

Bilinen bir varyansı olan bir Normal dağılımı izleyen rastgele bir değişkenin ortalamasını tahmin etmeye çalışıyorsam, ortalamadan önce bir üniforma yerleştirmenin, olasılık fonksiyonu ile orantılı bir posterior dağılımla sonuçlandığını okudum. Bu durumlarda, Bayes güvenilir aralığı sık sık güven aralığıyla mükemmel şekilde örtüşmektedir ve Bayes maksimumu posteriori bir tahmin sıklık maksimum olabilirlik tahminine eşittir.

Basit bir doğrusal regresyon ayarında,

Y=Xβ+ϵ,ϵN(0,σ2)

beta'dan önce bir tekdüze ve küçük parametre değerleriyle önce bir ters gama koymak, sıkça e çok benzeyen bir arka sonuçlanır ve posterior dağılımı için maksimum olasılık tahmini etrafında güven aralığına çok benzeyen güvenilir bir aralık. Tam olarak aynı olmayacaklar, çünkü önceki az miktarda etki yapıyor ve posterior tahmin, başka bir tutarsızlık kaynağı tanıtacak MCMC simülasyonu ile gerçekleştiriliyorsa, ancak etrafında Bayesian güvenilir aralığıσ 2 β M bir P β M L D β | X σ 2 β M bir Pβσ2β^MAPβ^MLEβ|Xσ2β^MAPve etrafındaki sık sık güven aralığı birbirine oldukça yakın olacaktır ve elbette örnek büyüklüğü arttıkça, olasılığın etkisi öncekine hakim olmak için arttıkça birleşmelidirler.β^MLE

Ancak bu yakın eşdeğerliklerin olmadığı regresyon durumlarının da olduğunu okudum. Örneğin, rastgele etkileri olan hiyerarşik regresyonlar veya lojistik regresyon - bunlar, anladığım kadarıyla, "iyi" bir objektif veya referans önceliğinin olmadığı durumlardır.

Genel sorum şu - hakkında çıkarım yapmak istediğimi varsayarakP(β|X)dahil etmek istediğim önceden bir bilgiye sahip olmadığımı, neden bu durumlarda sık sık maksimum olabilirlik tahminine devam edemediğimi ve ortaya çıkan katsayı tahminlerini ve standart hataları Bayes MAP tahminleri ve standart sapmalar olarak yorumlayamıyorum ve bunları dolaylı olarak ele alamıyorum. Böyle bir posteriora yol açacak öncekinin açık formülasyonunu bulmaya çalışmadan, "bilgisiz" olması gereken bir öncekinden kaynaklanan "posterior" tahminler? Genel olarak, regresyon analizi alanında, bu çizgiler boyunca (olasılığı posterior gibi tedavi etmek) ne zaman ilerlemek ve ne zaman uygun değildir? Yarı olabilirlik yöntemleri gibi, olasılık tabanlı olmayan sık yöntemlerle,

Cevaplar, çıkarım hedefimin katsayı noktası tahminlerine mi, yoksa bir katsayının belirli bir aralıkta olma olasılığına mı yoksa tahmini dağılım miktarlarına mı bağlı?

Yanıtlar:


6

Bu temelde -değerlerip ve maksimum olasılık hakkında bir sorudur . Burada Cohen'i (1994) alıntı yapmama izin verin

Bilmek istediğimiz şey "Bu veri göz önüne alındığında doğru olma olasılığı nedir?" Fakat çoğumuzun bildiği gibi, [ p- değeri] bize “ H 0'ın doğru olduğu göz önüne alındığında , bu (veya daha aşırı) verilerin olasılığı nedir?” Demektedir. Bunlar aynı değil (...)H0pH0

pP(D|H0)P(H0|D)

pθ

L(θ|D)=P(D|θ)

bu istatistiksel çıkarımlara bakmanın bir yoludur. Başka bir yol, hakkında doğrudan (dolaylı olarak değil) öğrenmek istediğimiz Bayesci yaklaşımdır.P(θ|D)θ

P(θ|D)posteriorP(D|θ)likelihood×P(θ)prior

p

Bu nedenle, maksimum olabilirlik tahminleri muntazam öncelikler altındaki MAP Bayes tahminleriyle aynı olsa da, farklı bir soruya cevap verdiklerini hatırlamanız gerekir.


Cohen, J. (1994). Dünya yuvarlaktır (p <.05). Amerikalı Psikolog, 49, 997-1003.


Cevabınız için teşekkürler @Tim. Daha net olmalıydım - P (D | H) ve P (H | D) 'nin genel olarak aynı olmadığını ve frekansçılar ve Bayesianların parametrelere olasılık dağılımları atamanın uygun olup olmadığı konusunda görüş ayrılıkları olduğunu anlıyordum. veya daha genel olarak hipotezler). Sorduğum şey, bir tahmin edicinin (frekanslı) örnekleme dağılımının sayısal olarak gerçek parametre değerinin (Bayes) arka dağılımına eşdeğer olacağı durumlardır .
Yakkanomica

Önceki yorumumun devamı: Yazdınız: "Yani, maksimum olasılık tahminleri MAP Bayes tahminleriyle aynı önceliğe sahip olsa da," - Bu ilişkinin bozulduğu durumlar olup olmadığını soruyorum - her ikisi de nokta tahminleri ve bunların etrafındaki dağılımları.
Yakkanomica

Son bir zeyilname - Bazı insanlar, Bayesci yaklaşımın temel erdeminin, önceki bilgileri esnek bir şekilde dahil edebilme kabiliyeti olduğunu söyleyebilirler. Bana göre, Bayesci yaklaşımın cazibesi yorumda - bir parametreye olasılık dağılımı atama yeteneği. Öncelikleri belirtmek bir sıkıntıdır. Hangi durumlarda sıkça kullanılan yöntemleri kullanabileceğimi bilmek istiyorum, ancak sıkça ve Bayesli sonuçların makul olarak bilgilendirici olmayan öncelikler altında sayısal olarak örtüştüğünü iddia ederek sonuçlara bir Bayes yorumu atamak istiyorum.
Yakkanomica

2
@Yakkanomica Anlıyorum, ilginç bir soru, ancak basit cevap (yukarıda belirtildiği gibi), bu tür yorumları yapmamalısınız, çünkü en sık yöntemler Bayesian'dan farklı soruyu cevaplıyor. ML ve MAP noktası tahminleri aynı olmalıdır, ancak güven aralıkları ve İGE değişebilir ve birbirinin yerine geçebilirlik olarak yorumlanmamalıdır.
Tim

Ancak @Tim, güven aralıklarının ve İGE'nin örtüştüğü durumlar vardır. Örneğin, s.1906'daki ML tahminlerini s.1908: PROC GENMOD örneğinde Bayes posterior tahminleriyle (katsayılarda tekdüze önceliğe ve ölçeğe göre IG'ye dayalı olarak) karşılaştırın . ML puan tahmini ve% 95 güven sınırları Bayes posterior ortalama tahmini ve% 95 HPD aralığına çok benzer.
Yakkanomica
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.