Bayesian öncelikleri büyük örneklem büyüklüğü ile ilgisiz mi oluyor?

26

Bayesian çıkarımı yaparken, olasılık fonksiyonumuzu, parametreler hakkında sahip olduğumuz öncelikler ile birlikte maksimize ederek çalışırız. Log olasılık daha uygun olduğu için, etkili bir şekilde en üst düzeye çıkarmak bir pdf kullanılarak arka dağılımları ürettiği başka bir şekilde MCMC ya da (kullanarak her parametrenin önceliği ve her veri noktasının olasılığı). $\sum \ln (\text{prior}) + \sum \ln (\text{likelihood})$

Çok fazla veriye sahip olursak, bunun olasılığı, öncekilerin sağladığı tüm bilgileri basit matematikle boğacaktır. Sonuçta, bu iyi ve tasarım gereğidir; arka planın daha fazla veriyle gerçekleşme olasılığına yakınlaşacağını biliyoruz, çünkü olması gerekiyordu.

Konjugat öncülleri tarafından tanımlanan problemler için bu tam olarak kanıtlanabilir.

Belirli bir olasılık fonksiyonu ve bazı örneklem büyüklükleri için önceliklerin ne zaman önemli olmadığı konusunda karar vermenin bir yolu var mı?

bayesian prior

— piksel
kaynak

3

İlk cümleniz doğru değil. Bayesian çıkarımı ve MCMC algoritması, olasılığı en üst düzeye çıkarmaz.

— niandra82

5

Marjinal olabilirlik, Bayes faktörleri, önceki / posterior öngörücü dağılım, önceki / posterior öngörücü kontrol hakkında bilgi sahibi misiniz? bunlar bir Bayesian Paradigmasındaki modelleri karşılaştırmak için kullanacağınız türlerdir. Bence bu soru Bayes faktörünün sadece öncekilerden farklı olan modeller arasında, örneklem büyüklüğü sonsuzluğa giderken 1'e yaklaşıp düşmeyeceğine kadar düşüyor. Ayrıca, olasılığın ima ettiği parametre alanı içinde kesilen öncelikleri bir kenara koymak isteyebilirsiniz, çünkü bu, hedefin maksimum olabilirlik tahminine yakınsamasını potansiyel olarak reddedebilir.

— Zachary Blumenfeld

@ ZacharyBlumenfeld: Bu doğru bir cevap olarak nitelendirilebilir!

— Xi'an

Düzeltilmiş form "Bayes kuralını maksimize etmek" mi? Ayrıca, çalıştığım modeller fiziksel olarak dayanıyor, bu nedenle kesilmiş parametre alanları iş için bir zorunluluktur. (Ayrıca yorumlarınızın muhtemelen bir cevap olduğu konusunda hemfikirsiniz, onları @ ZacharyBlumenfeld'den çıkarabilir misiniz?)

— pikseller

37

O kadar kolay değil. Verilerinizdeki bilgiler, yalnızca örneklem boyutunuz büyük olmakla kalmaz, aynı zamanda verileriniz önceki bilgileri ezmek için yeterli bilgi sağladığında ön bilgiyi zorlar. Bilgi vermeyen öncelikler verilerle kolayca ikna edilirken, güçlü bilgi verenler daha dirençli olabilir. Aşırı durumda, kötü tanımlanmış önceliklerle, verileriniz üstesinden gelemeyebilir (örneğin, bazı bölgelerdeki sıfır yoğunluk).

Bayes teoremi ile istatistiksel modelimizde iki veri kaynağı kullandığımızı, veri dışı verileri, ön bilgi ve olasılık fonksiyonunda veri tarafından aktarılan bilgileri kullandığımızı hatırlayın :

posterior \propto prior \times likelihood

$\color{violet}{\text{posterior}} \propto \color{red}{\text{prior}} \times \color{lightblue}{\text{likelihood}}$

Bilgi vermeyen önceki (veya en yüksek olabilirlik) kullanıldığında, modelimize mümkün olan en az ön bilgiyi getirmeye çalışıyoruz. Bilgilendirici önceliklerle, modele önemli miktarda bilgi getiriyoruz. Dolayısıyla, hem veriler hem de önceden tahmin edilen parametrelerin hangi değerlerinin daha makul veya inandırıcı olduğunu bize bildiriniz. Farklı bilgiler getirebilirler ve her biri bazı durumlarda diğerine baskın gelebilir.

Bunu çok temel beta-binom modeliyle açıklayayım ( detaylı örnek için buraya bakın ). Önceden "bilgisiz" olduğunda , oldukça küçük bir örnek onu güçlendirmek için yeterli olabilir. Aşağıdaki grafiklerde aynı modelin önceliklerini (kırmızı eğri), olasılığını (mavi eğri) ve posterlerini (menekşe eğrisi) görebilirsiniz.

Diğer yandan, gerçek değere yakın olan, önceden de bilgilendirici olabilir, bu da kolay olur, ancak verilerle ikna edilen haftalık bilgilendirici olanlarda olduğu kadar kolay değildir.

Durum, bilgilendirici ile, verilerin söylediklerinden çok uzakta olduğu zaman çok farklıdır (ilk örnekte olduğu gibi aynı verileri kullanarak). Bu durumda, öncekilerin üstesinden gelmek için daha büyük bir örneğe ihtiyacınız vardır.

Bu yüzden sadece örneklem büyüklüğü ile ilgili değil, aynı zamanda verileriniz ve öncekileriniz hakkında da. Bunun istenen bir davranış olduğuna dikkat edin , çünkü bilgilendirici öncelleri kullanırken , modelimize potansiyel olarak veri dışı bilgileri dahil etmek istiyoruz ve eğer büyük örnekler her zaman öncelikleri atıyorsa bu mümkün olmaz.

Karmaşık posterior olabilirlikten önceki ilişkilerden dolayı, posterior dağılıma bakmak ve bazı posterior öngörücü kontroller yapmak her zaman iyidir (Gelman, Meng ve Stern, 1996; Gelman ve Hill, 2006; Gelman ve ark. 2004). Dahası, Spiegelhalter (2004) tarafından tarif edildiği gibi, farklı etkiler, örneğin büyük etkiler hakkında şüpheleri ifade eden "karamsar" veya tahmini etkiler konusunda iyimser olan "hevesli" kullanabilirsiniz. Farklı önceliklerin verilerinizle nasıl davrandığını karşılaştırmak, posteriorun öncekinden ne kadar etkilendiğini resmi olmayan bir şekilde değerlendirmenize yardımcı olabilir.

Spiegelhalter, DJ (2004). Bayesian fikirlerini sağlık hizmeti değerlendirmesine dahil etmek. İstatistiksel Bilim, 156-174.

Gelman, A., Carlin, JB, Stern, HS ve Rubin, DB (2004). Bayes veri analizi. Chapman ve Salon / CRC.

Gelman, A. ve Hill, J. (2006). Regresyon ve çok seviyeli / hiyerarşik modeller kullanılarak veri analizi. Cambridge Üniversitesi Basını.

Gelman, A., Meng, XL ve Stern, H. (1996). Model zindeliğin posterior öngörücü olarak gerçekleşen tutarsızlıklar ile değerlendirilmesi. Statistica sinica, 733-760.

— Tim
kaynak

2

Güzel katkı, teşekkür ederim Tim. Buraya çok güzel bir şekilde yerleştirdiğiniz kontrastın , o modelin farklı parametreleriyle ilgili olan bir ve aynı modelde bile kendini gösterebileceğini eklemek isterim . Verilerin ihmal edilebilir bilgi sağladığı bazı parametreler olabilir, bu durumda öncelikleri belirleyici kısıtlamaları sağlamada kritik öneme sahip olabilir .

— David C. Norris,

Grafiklerin ilk 3x3 matrisinde, grafikler doğru mu? Posterior n = 25'e kadar tamamen düzdür?

— MichiganWater

1

@MichiganWater her 9 arsa koleksiyonu y ekseni için aynı ölçeği kullanır, böylece en büyük değerler ekrandan çıkmaz. Bu nedenle, daha fazla veriye sahip olduğunuz duruma nispeten düzdürler. "Yakınlaştırdıysanız", düz olmazlar.

— Tim

11

Bayesian çıkarımı yaparken, olasılık fonksiyonumuzu, parametreler hakkında sahip olduğumuz öncelikler ile birlikte maksimize ederek çalışırız.

Bu aslında çoğu uygulayıcının Bayesian çıkarımı olarak gördüğü şey değil. Parametreleri bu şekilde tahmin etmek mümkün, ancak Bayesian çıkarımı demem.

Bayesci çıkarım , rakip hipotezler için arka olasılıkları (veya olasılık oranlarını) hesaplamak için posterior dağılımları kullanır.

Posterior dağılımlar ampirik olarak Monte Carlo veya Markov-Chain Monte Carlo (MCMC) teknikleriyle tahmin edilebilir .

Bu ayrımları bir kenara bırakmak, soru

Bayesian öncelikleri büyük örneklem büyüklüğü ile ilgisiz mi oluyor?

hala sorunun bağlamına ve neye değer verdiğinize bağlı.

Önemsediğiniz şey zaten çok büyük bir örneklemde verilen tahmin ise, cevap genellikle evet, öncelikler asimptotik olarak anlamsızdır *. Bununla birlikte, umursadığınız şey model seçimi ve Bayesian Hipotez Testi ise, cevap hayırdır, öncelikler çoktur ve etkileri örneklem büyüklüğü ile bozulmaz.

* Burada, önceliklerin olasılığın ima ettiği parametre alanının ötesinde kesilmediğini / sansürlenmediğini ve önemli bölgelerde sıfıra yakın yoğunlukta yakınsama sorunlarına neden olacak kadar kötü olmadıklarını varsayıyorum. Benim argüman aynı zamanda tüm normal uyarılarla birlikte gelen asimptotiktir.

Tahmini Yoğunluklar

$\mathbf{d}_N = (d_1, d_2,...,d_N)$ $d_i$ $f(\mathbf{d}_N\mid \theta)$ $\theta$

Öyleyse , hiper parametresi farklı olan iki ayrı ve . $\pi_0 (\theta \mid \lambda_1)$ $\pi_0 (\theta \mid \lambda_2)$ $\lambda_1 \neq \lambda_2$

Her biri sonlu bir örnekte farklı posterior dağılımlara yol açacaktır,

π_{N} (θ ∣ d_{N}, λ_{j}) \propto f (d_{N} ∣ θ) π_{0} (θ ∣ λ_{j}) f o r j = 1, 2

$\pi_N (\theta \mid \mathbf{d}_N, \lambda_j) \propto f(\mathbf{d}_N\mid \theta)\pi_0 ( \theta \mid \lambda_j)\;\;\;\;\;\mathrm{for}\;\;j=1,2$

İzin vermek Suito gerçek parametre değeri, olması ve , , ve hepsinin olasılığına yakınsayacağı . Herhangi bir ; $\theta^*$ $\theta^{j}_N \sim \pi_N(\theta\mid \mathbf{d}_N, \lambda_j)$ $\hat \theta_N = \max_\theta\{ f(\mathbf{d}_N\mid \theta) \}$ $\theta^{1}_N$ $\theta^{2}_N$ $\hat \theta_N$ $\theta^*$ $\varepsilon >0$

\begin{aligned} lim_{N \to \infty} P r (| θ_{N}^{j} - θ^{*} | \geq ε) & = 0 \forall j \in {1, 2} \\ lim_{N \to \infty} P r (| {\hat{θ}}_{N} - θ^{*} | \geq ε) & = 0 \end{aligned}

$\begin{align} \lim_{N \rightarrow \infty} Pr(|\theta^j_N - \theta^*| \ge \varepsilon) &= 0\;\;\;\forall j \in \{1,2\} \\ \lim_{N \rightarrow \infty} Pr(|\hat \theta_N - \theta^*| \ge \varepsilon) &= 0 \end{align}$

Optimizasyon prosedürünüzle daha tutarlı olmak için alternatif olarak ve bu parametre çok farklı olsa da daha sonra önceden tanımlanmış olan yukarıdaki asimptotikler hala geçerli. $\theta^j_N = \max_\theta \{\pi_N (\theta \mid \mathbf{d}_N, \lambda_j)\}$

olarak tanımlanan öngörücü yoğunlukların uygun bir Bayesian yaklaşımında veya optimizasyon kullanarak, dağıtımı . Bu nedenle, zaten çok büyük bir numuneye bağlı yeni gözlemlerin öngörülmesi açısından, önceki şartname asimptotik olarak hiçbir fark yaratmaz . $f(\tilde d \mid \mathbf{d}_N, \lambda_j) = \int_{\Theta} f(\tilde d \mid \theta,\lambda_j,\mathbf{d}_N)\pi_N (\theta \mid \lambda_j,\mathbf{d}_N)d\theta$ $f(\tilde d \mid \mathbf{d}_N, \theta^j_N)$ $f(\tilde d\mid \mathbf{d}_N, \theta^*)$

Model Seçimi ve Hipotez Testleri

Eğer bir kişi Bayesian model seçimi ve hipotez testi ile ilgileniyorsa, öncekinin etkisinin asimptotik olarak ortadan kalkmadığının farkında olmalıdır.

Bir Bayesian ayarında, arka olasılıkları veya marjinal olasılıkları olan Bayes faktörlerini hesaplayacağız. Marjinal bir olasılık, bir model verilen verinin olasılığıdır ( . $f(\mathbf{d}_N \mid \mathrm{model})$

İki alternatif model arasındaki Bayes faktörü, marjinal ihtimallerinin oranıdır; Bir modeldeki her modelin arka olasılığı model seti, marjinal olasılıklarından da hesaplanabilir; Bunlar, modelleri karşılaştırmak için kullanılan faydalı metriklerdir.

K_{N} = \frac{f (d_{N} ∣ {m o d e l}_{1})}{f (d_{N} ∣ {m o d e l}_{2})}

$K_N = \frac{f(\mathbf{d}_N \mid \mathrm{model}_1)}{f(\mathbf{d}_N \mid \mathrm{model}_2)}$

P r ({m o d e l}_{j} ∣ d_{N}) = \frac{f (d_{N} ∣ {m o d e l}_{j}) P r ({m o d e l}_{j})}{\sum_{l = 1}^{L} f (d_{N} ∣ {m o d e l}_{l}) P r ({m o d e l}_{l})}

$Pr(\mathrm{model}_j \mid \mathbf{d}_N) = \frac{f(\mathbf{d}_N \mid \mathrm{model}_j)Pr(\mathrm{model}_j)}{\sum_{l=1}^L f(\mathbf{d}_N \mid \mathrm{model}_l)Pr(\mathrm{model}_l)}$

Yukarıdaki modeller için, marjinal olasılıklar;

f (d_{N} ∣ λ_{j}) = \int_{Θ} f (d_{N} ∣ θ, λ_{j}) π_{0} (θ ∣ λ_{j}) d θ

$f(\mathbf{d}_N \mid \lambda_j) = \int_{\Theta} f(\mathbf{d}_N \mid \theta, \lambda_j)\pi_0(\theta\mid \lambda_j)d\theta$

Bununla birlikte, örneğimize sıralı olarak gözlemler eklemeyi düşünebiliriz ve marjinal olasılığı bir öngörüsel olasılıklar zinciri olarak yazabiliriz ; Yukarıdakilerden biz biliyoruz için yakınsak , ancak o genellikle doğru değil yakınsak için , ne de yakınsama etmez

f (d_{N} ∣ λ_{j}) = \prod_{n = 0}^{N - 1} f (d_{n + 1} ∣ d_{n}, λ_{j})

$f(\mathbf{d}_N \mid \lambda_j) = \prod_{n=0}^{N-1} f(d_{n+1} \mid \mathbf{d}_n , \lambda_j)$

f (d_{N + 1} ∣ d_{N}, λ_{j})

$f(d_{N+1} \mid \mathbf{d}_N , \lambda_j)$

f (d_{N + 1} ∣ d_{N}, θ^{*})

$f(d_{N+1} \mid \mathbf{d}_N , \theta^*)$ $f(\mathbf{d}_N \mid \lambda_1)$ $f(\mathbf{d}_N \mid \theta^*)$ $f(\mathbf{d}_N \mid \lambda_2)$ . Bu, yukarıdaki ürün notuna bakıldığında açıkça görülmelidir. Üründeki son terimler giderek daha fazla benzerlik de, ilk terimler farklı olacaktır, bu nedenle Bayes faktörü Farklı bir olasılık ve öncesi olan alternatif bir model için bir Bayes faktörü hesaplamak istiyorsak, bu bir konudur. Örneğin, marjinal olabilirlik olasılığını göz önünde bulundurun ; sonra

\frac{f (d_{N} ∣ λ_{1})}{f (d_{N} ∣ λ_{2})} ⧸ \overset{p}{\to} 1

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ f(\mathbf{d}_N \mid \lambda_2)} \not\stackrel{p}{\rightarrow} 1$

h (d_{N} ∣ M) = \int_{Θ} h (d_{N} ∣ θ, M) π_{0} (θ ∣ M) d θ

$h(\mathbf{d}_N\mid M) = \int_{\Theta} h(\mathbf{d}_N\mid \theta, M)\pi_0(\theta\mid M) d\theta$

\frac{f (d_{N} ∣ λ_{1})}{h (d_{N} ∣ M)} \neq \frac{f (d_{N} ∣ λ_{2})}{h (d_{N} ∣ M)}

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ h(\mathbf{d}_N\mid M)} \neq \frac{f(\mathbf{d}_N \mid \lambda_2)}{ h(\mathbf{d}_N\mid M)}$ asimptotik olarak veya başka türlü. Aynı durum posterior olasılıklar için de gösterilebilir. Bu ayarda önceliğin seçimi, numune büyüklüğünden bağımsız olarak çıkarım sonuçlarını önemli ölçüde etkiler.

— Zachary Blumenfeld
kaynak

5

Akılda tutulması gereken bir diğer konu, çok fazla veriye sahip olabileceğiniz , ancak modelinizdeki belirli parametreler hakkında hala çok az bilgiye sahip olabileceğinizdir . Bu gibi durumlarda, hafif bir bilgilendirici önceki bile çıkarım yaparken çok yardımcı olabilir.

Saçma bir örnek olarak, iki grubun araçlarını karşılaştırdığınızı ve 1.000.000 grup 1 ve 10 grup 2 örnek bulunduğunu varsayalım. Daha sonra, bir milyondan fazla topladığınız halde, grup 2 ile ilgili daha önce bilgilendirici bir şekilde çıkarımı artırabilir. örnekleri.

Ve bu örnek önemsiz olsa da, bazı çok önemli sonuçlar doğurmaya başlıyor. Bazı karmaşık olayları anlamak istiyorsak, yapmamız gereken akıllı şey anlamadığımız bölümlerle ilgili birçok bilgi toplamak ve anladığımız bölümlerle ilgili daha az bilgi toplamaktır. Çok fazla veriyi bu şekilde toplarsak, çok fazla veriye sahip olduğumuz için bir öncekini atmak gerçekten kötü bir seçimdir; Analizlerimizi yeni başlattık, çünkü zaten bildiklerimiz hakkında veri toplamak için zaman kaybetmedik!

— Cliff AB
kaynak