Olabilirlik oranı vs Bayes Faktörü

Belli bir fenomen için / aleyhte nesnel kanıtları temsil etmek için olasılık oranlarının kullanımıyla ilgili olarak evangelistim. Bununla birlikte, geçenlerde Bayes faktörünün Bayesian yöntemleri bağlamında benzer bir işleve hizmet ettiğini öğrendim (yani önceki öznel nesnel olarak nesnel olarak güncellenmiş bir öznel inanç durumu sağlamak için objektif Bayes faktörü ile birleştirildi). Şimdi olabilirlik oranı ile Bayes faktörü arasındaki hesaplama ve felsefi farkları anlamaya çalışıyorum.

Hesaplama düzeyinde, olasılık oranının genellikle her bir modelin kendi ilgili parametrelemesi için maksimum olasılığını temsil eden olasılıkları kullanarak hesaplanırken (görünüşe göre Bayes faktörü bir şekilde kullanan) Her modelin tüm parametre alanı üzerine entegre olma olasılığını temsil eden olasılıklar (yani sadece MLE'de değil). Bu entegrasyon aslında tipik olarak nasıl sağlanır? Bir tanesi parametre uzayından binlerce (milyonlarca) rasgele örneğin her birinin olasılığını hesaplamaya mı çalışıyor, yoksa olasılığın parametre alanıyla bütünleştirilmesi için analitik yöntemler var mı? Ek olarak, Bayes faktörünü hesaplarken,

Ayrıca, olabilirlik oranı ile Bayes faktörü arasındaki felsefi farklar nelerdir (nb, olabilirlik oranı ile genel olarak Bayesian yöntemleri arasındaki felsefi farklar hakkında değil, genel olarak objektif kanıtların temsili olarak Bayes faktörü hakkında soruyorum). Kişi olabilirlik oranına kıyasla Bayes faktörünün anlamını belirlemeye nasıl devam eder?

likelihood-ratio bayes-factors

— Mike Lawrence
kaynak

Örneği Wikipedia'da

— Henry

Chen, Shao ve Ibrahim (2000) tarafından yazılmış kitap , Bayes faktörlerinin Monte Carlo hesaplamasına adanmıştır.

— Xi'an,

Yanıtlar:

görünüşe göre, Bayes faktörü bir şekilde, her bir parametrenin tüm parametre alanı (örn. sadece MLE'de değil) üzerine entegre olma olasılığını temsil eden olasılıkları kullanmaktadır. Bu entegrasyon aslında tipik olarak nasıl sağlanır? Bir tanesi parametre uzayından binlerce (milyonlarca) rasgele örneğin her birinin olasılığını hesaplamaya mı çalışıyor, yoksa olasılığın parametre alanıyla bütünleştirilmesi için analitik yöntemler var mı?

İlk olarak, aşağıdaki gibi bir terim düşünün herhangi bir durum veri için ve model bir düşünülmektedir olabilirlik modeli. Bu genellikle, herhangi bir istatistiksel analizin sık ve ekimcisi olan sık ve Bayesian ekmeğidir ve bu, analizinizin önermek istediği kısımdır, ya iyi bir uyum ya da kötü bir uyumdur. Yani Bayes faktörleri, olasılık oranlarından temelde farklı bir şey yapmıyor. $P(D|M)$ $D$ $M$

Bayes faktörlerini doğru ayarlara koymak önemlidir. İki modeliniz varsa, söyleyin ve olasılıklardan olasılıklara dönüşüyorsanız, o zaman Bayes faktörleri önceki inançlarda bir operatör gibi davranır:

P o s t e r i o r O d d s = B a y e s F a c t o r * P r i o r O d d s

$Posterior Odds = Bayes Factor * Prior Odds$

\frac{P (M_{1} | D)}{P (M_{2} | D)} = B . F . \times \frac{P (M_{1})}{P (M_{2})}

$\frac{P(M_{1}|D)}{P(M_{2}|D)} = B.F. \times \frac{P(M_{1})}{P(M_{2})}$

Gerçek fark, olasılık oranlarının hesaplanması daha ucuz ve genellikle kavramsal olarak tanımlaması daha kolay olmasıdır. MLE'deki olasılık, sırasıyla, Bayes faktör pay ve paydasının sadece bir nokta tahminidir. En sık yapılan yapılar gibi, elde edilmesi zor olan bir önceliğe sahip özel bir Bayesian analiz durumu olarak görülebilir. Fakat çoğunlukla ortaya çıktı, çünkü analitik olarak izlenebilir ve hesaplanması daha kolay (yaklaşık Bayesian hesaplamalı yaklaşımlar ortaya çıkmadan önceki dönemde).

Hesaplama noktasında, evet: hemen hemen her pratik durum için Bayesian ortamındaki farklı olabilirlik integrallerini büyük ölçekli bir Monte Carlo prosedürüyle değerlendirebilirsiniz. Belirli dağılımlar varsa, çalışan GHK gibi bazı özel simülatörler vardır ve bu varsayımları yaparsanız, bazen tamamen analitik Bayes faktörlerinin var olduğu analitik olarak izlenebilir problemler bulabilirsiniz.

Ancak hiç kimse bunları kullanmaz; sebebi yok. En iyi duruma getirilmiş Metropolis / Gibbs örnekleyicileri ve diğer MCMC yöntemleriyle, bu sorunlara tam veri odaklı bir şekilde yaklaşmak ve integrallerinizi sayısal olarak hesaplamak tamamen izlenebilir. Aslında, çoğu kişi bunu hiyerarşik olarak yapar ve sonuçları veri toplama mekanizmaları, göz ardı edilemez deneysel tasarımlarla, vb. İlgili meta öncelikleriyle bütünleştirir.

Bu konuda daha fazla bilgi için Bayesian Veri Analizi kitabını öneririm . Bununla birlikte, yazar Andrew Gelman, Bayes faktörlerine fazla önem vermiyor gibi görünüyor . Bir kenara, Gelman ile katılıyorum. Eğer Bayesian'e gidecekseniz, o zaman tüm posteriordan istifade edin. Model seçimini Bayesian yöntemleriyle yapmak onları engellemek gibidir, çünkü model seçimi zayıf ve çoğunlukla işe yaramaz bir çıkarım şeklidir. Yapmanız gerekmiyorsa ... model seçimleri üzerindeki dağılımları bilmek isterdim ... bunu, "model A, model B'den daha iyidir" olarak belirlemeyi umursamaz.

Ek olarak, Bayes faktörünü hesaplarken, olasılık oranındaki gibi karmaşıklık için düzeltme (otomatik olarak onaylanmış olabilirlik tahmini veya AIC aracılığıyla analitik olarak) uygulanır mu?

Bu Bayesian yöntemleri hakkında güzel şeylerden biri. Bayes faktörleri teknik anlamda otomatik olarak model karmaşıklığını hesaba katar. İki modelden oluşan basit bir senaryo oluşturabilirsiniz , sırasıyla ve model karmaşıklığına sahip ve , ve bir örneklem büyüklüğü ile . $M_{1}$ $M_{2}$ $d_{1}$ $d_{2}$ $d_{1} < d_{2}$ $N$

Daha sonra, eğer ile Bayes faktördür paydaki, varsayımı altında doğru olarak bir olduğunu kanıtlayan bir , yaklaşımlar Model karmaşıklığındaki farka bağlı olan ve Bayes faktörünün daha basit modeli tercih ettiği bir hızda . Daha spesifik olarak, yukarıdaki varsayımların tümü altında, $B_{1,2}$ $M_{1}$ $M_{1}$ $N\to\infty$ $B_{1,2}$ $\infty$

B_{1, 2} = O (N^{\frac{1}{2} (d_{2} - d_{1})})

$B_{1,2} = \mathcal{O}(N^{\frac{1}{2}(d_{2}-d_{1})})$

Bu türetme ve Sonlu Karışım ve Markov Anahtarlama Modelleri'nden Sylvia Frühwirth-Schnatter adlı kitabın tartışmasına aşinayım, ancak bunun altında yatan epistemolojiye daha fazla dalmış olan daha doğrudan istatistiksel hesaplar var.

Ayrıntıları burada verecek kadar iyi bilmiyorum, ama bununla AIC'nin türetilmesi arasında oldukça derin bir teorik bağlantı olduğuna inanıyorum. Cover ve Thomas'ın Enformasyon Kuramı kitabı en azından bunu ima etti.

Ayrıca, olabilirlik oranı ile Bayes faktörü arasındaki felsefi farklar nelerdir (nb, olabilirlik oranı ile genel olarak Bayesian yöntemleri arasındaki felsefi farklar hakkında değil, genel olarak objektif kanıtların temsili olarak Bayes faktörü hakkında soruyorum). Kişi olabilirlik oranına kıyasla Bayes faktörünün anlamını belirlemeye nasıl devam eder?

"Yorum" Wikipedia makalenin bölümü bu (kanıt ölçek Jeffreys' gücünü gösteren özellikle grafiği) tartışırken iyi bir iş yapar.

Her zamanki gibi, Bayesian yöntemleri ve sık kullanılan yöntemler (zaten aşina olduğunuz gibi) arasındaki temel farklılıkların ötesinde çok fazla felsefi şey yoktur.

Önemli olan, olasılık oranının Hollandalı kitap anlamında tutarlı olmamasıdır. Olasılık oranlarından örnek seçim çıkarımının kaybedilen bahisleri kabul etmesine yol açacağı senaryoları yazabilirsiniz. Bayesian yöntemi tutarlı, ancak son derece zayıf olabilecek ve sübjektif olarak seçilmesi gereken bir öncekiyle çalışır. Tradeoff'lar .. tradeoff'lar ...

FWIW, bu tür ağır parametreleştirilmiş model seçiminin çok iyi bir çıkarım olmadığını düşünüyorum. Bayesian yöntemlerini tercih ediyorum ve bunları daha hiyerarşik olarak düzenlemeyi tercih ediyorum ve sonuç olarak hesaplamanın tümüyle mümkün olması durumunda çıkarımın tam posterior dağılıma odaklanmasını istiyorum. Bayes faktörlerinin bazı zarif matematiksel özelliklere sahip olduğunu düşünüyorum, ancak bir Bayesian olarak kendimden etkilenmedim. Bayesian analizinin gerçekten yararlı olan kısmını gizliyorlar, bu da sizi halının altına süpürmek yerine açıktaki öncelikleriyle uğraşmaya zorlar ve tam posteriorlar üzerinde çıkarım yapmanızı sağlar.

— ely
kaynak

“Her zamanki gibi, Bayesian yöntemleri ve sık kullanılan yöntemler (zaten aşina olduğunuz gibi) arasındaki temel farklılıkların ötesinde çok fazla felsefi şey yok. Asıl mesele olabilirlik oranı testi…” Bayes faktörlerini Olabilirlik oranı testleri ile değil, sıklık / boş hipotez testi bagajı olmadan tek başına olabilirlik oranları ile karşılaştırma niyetinde değiller.

— Mike Lawrence,

Yukarıdaki açıklamaya göre: Öyle görünüyor ki, bana göre, BF'ler ile LR'ler arasındaki büyük fark, eskiden karmaşıklık için otomatik olarak düzelten, ancak çok daha az hesaplama gerektiren ancak çok daha fazla hesaplama gerektiren ancak çok daha fazla hesaplama gerektiren, model karmaşıklığı için (ya hesaplama açısından hızlı olan AIC ya da oldukça hesaplamalı olarak pahalı olan çapraz doğrulama).

— Mike Lawrence,

Üzgünüz, olabilirlik oranı testi bir yazım hatası idi, sadece olabilirlik oranı olmalıydı. Bence çoğunlukla haklısın, ama olasılık oranının sadece bir nokta tahmini olduğu konusunda hala büyük bir resmi kaçırıyorsun. Sadece altta yatan olasılık dağılımları, MLE mahallesinde ikinci dereceden bir yaklaşıma kadar iyi davranırsa faydalı olacaktır. Bayes faktörlerinin, bunun gibi asemptotik dağılım özelliklerini dikkate alması gerekmez, bu yüzden özellikle daha geneldir. Bu kapsadığını MLE tabanlı bir model seçimi çıkarım.

— ely,

Başka bir deyişle, MLE az önce bir posteriori tahmincisi (MAP) olarak görülebilir, tam bir öncekiyle (entegrasyon buna izin verdiğinde), ve MAP önceki bilgileri içerdiğinden daha çekici bir nokta tahminidir. Şimdi, sadece posterior modunu seçmek yerine ... neden posterior'un tüm değerlerini önceki olasılıklarına göre birleştirmiyorsunuz? Size parametreleri hakkında bir nokta tahmini vermez, ancak çoğu kişi gerçekten bir nokta tahmini istemez. Parametreler üzerindeki dağılımlar, bunları almaya gücünüz olduğunda, nokta tahminlerinden her zaman daha yararlıdır

— ely

Olabilirlik oranları ve Bayes faktörleri arasındaki farkı anlamakta, Bayes faktörlerinin bir anahtar özelliğini daha ayrıntılı olarak düşünmek faydalı olacaktır:

Bayes faktörleri, altta yatan modellerin karmaşıklığını otomatik olarak nasıl hesaba katar?

Bu soruya bir bakış açısı deterministik yaklaşık çıkarım için yöntemleri düşünmektir. Varyasyonel Bayes böyle bir yöntemdir. Stokastik yaklaşımların hesaplama karmaşıklığını yalnızca dramatik bir şekilde azaltmayabilir (örneğin, MCMC örneklemesi). Varyasyonel Bayes ayrıca Bayes faktörünü neyin oluşturduğunun sezgisel bir şekilde anlaşılmasını sağlar.

Öncelikle, bir Bayes faktörünün iki rakip modelin model kanıtlarına dayandığını hatırlayın,

\begin{aligned} B F_{1, 2} = \frac{p (data ∣ M_{1})}{p (data ∣ M_{2})}, \end{aligned}

$\begin{align} BF_{1,2} = \frac{p(\textrm{data} \mid M_1)}{p(\textrm{data} \mid M_2)}, \end{align}$

bireysel model kanıtlarının karmaşık bir integral tarafından hesaplanması gereken yerlerde:

\begin{aligned} p (data ∣ M_{i}) = \int p (data ∣ θ, M_{i}) p (θ ∣ M_{i}) d θ \end{aligned}

$\begin{align} p(\textrm{data} \mid M_i) = \int p(\textrm{data} \mid \theta,M_i ) \ p(\theta \mid M_i) \ \textrm{d}\theta \end{align}$

Bu integral sadece bir Bayes faktörünü hesaplamak için gerekli değildir; Parametrelerin kendi çıkarımı için de gereklidir, yani . $p(\theta \mid \textrm{data}, M_i)$

Sabit formlu bir değişken Bayes yaklaşımı, koşullu posteriorlar hakkında (örneğin, bir Gauss varsayımı) bir dağıtım varsayımı yaparak bu sorunu giderir. Bu, zor bir entegrasyon problemini çok daha kolay bir optimizasyon problemine dönüştürür: gerçek, ancak bilinmeyen, posterior ya en çok benzeyen yaklaşık yoğunluk momentlerini bulma problemi . $q(\theta)$ $p(\theta \mid \textrm{data},M_i)$

Varyasyonel hesap, bize bunun doğrudan log modelinin kanıtı ile ilgili olan negatif serbest enerji maksimize ederek elde edebileceğini söyler : $\mathcal{F}$

\begin{aligned} F = log p (data ∣ M_{i}) - KL [q (θ) | | p (θ ∣ data, M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \textrm{log} \; p(\textrm{data} \mid M_i) - \textrm{KL}\left[q(\theta) \; || \; p(\theta \mid \textrm{data},M_i) \right] \end{align}$

Bundan, negatif serbest enerjiyi en üst düzeye çıkarmanın bize yalnızca yaklaşık bir arka . Kullback-Leibler sapması negatif olmadığından, (log) model kanıtı üzerinde daha düşük bir sınırlama sağlar . $q(\theta) \approx p(\theta \mid \textrm{data},M_i)$ $\mathcal{F}$

Şimdi, bir Bayes faktörünün, ilgili modellerin uyum iyiliğini ve karmaşıklığını otomatik olarak nasıl dengelediği konusundaki orijinal soruya geri dönebiliriz. Negatif serbest enerjinin şu şekilde yeniden yazılabileceği ortaya çıktı:

\begin{aligned} F = {⟨ p (data ∣ θ, M_{i}) ⟩}_{q} - KL [q (θ) | | p (θ ∣ M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \left\langle p(\textrm{data} \mid \theta,M_i) \right\rangle_q - \textrm{KL}\left[ q(\theta) \; || \; p(\theta \mid M_i) \right] \end{align}$

İlk terim yaklaşık posterior altında beklenen verilerin log olasılığıdır; modelin uyumluluğunu (veya doğruluğunu ) temsil eder . İkinci terim, yaklaşık arka ve önceki arasındaki KL sapmasıdır; daha basit bir modelin önceki inançlarımızla daha tutarlı olan bir model olduğu veya daha basit bir modelin verileri içerecek kadar gerdirilmesi gerekmediği görüşü altında modelin karmaşıklığını temsil eder .

Günlük modeli kanıtına serbest enerji yaklaşımı, model kanıtın verilerin modellenmesi (yani, uygunluğun iyiliği) ile önceliğimizle (yani sadelik veya olumsuz karmaşıklık) tutarlı kalması arasında bir denge oluşturduğunu göstermektedir.

Bir Bayes faktörü (olasılık oranının aksine), iki rakip modelden hangisinin verilerin basit ama doğru bir şekilde açıklanmasında daha iyi olduğunu söylüyor .

— Kay Brodersen
kaynak