Bayesci istatistik ve üretken modelleme arasındaki bağlantı

Birisi beni Bayesci istatistiklerle üretken modelleme teknikleri arasındaki bağlantıyı açıklayan iyi bir referansa yönlendirebilir mi? Neden genellikle Bayesci tekniklerle üretken modeller kullanıyoruz?

Neden tam veri yokluğunda Bayesian istatistiklerini kullanmak özellikle caziptir?

Daha makine öğrenimi odaklı bir bakış açısıyla geldiğimi ve bunun hakkında istatistik topluluğundan daha fazla okumak istediğimi unutmayın.

Bu hususları tartışan iyi referanslar çok takdir edilecektir. Teşekkürler.

Makine öğrenmesinde, tam bir olasılık modeli p (x, y) üretken olarak adlandırılır, çünkü veri üretmek için kullanılabilir, koşullu bir model p (y | x) ayrımcı olarak adlandırılır, çünkü p (x için bir olasılık modeli belirtmez ) ve yalnızca x verilen y'yi oluşturabilir. Her ikisi de Bayes tarzında tahmin edilebilir.

Bayes kestirimi doğası gereği tam bir olasılık modeli belirlemek ve model ve verilere bağlı çıkarım yapmakla ilgilidir. Bu, birçok Bayes modelinin üretken bir his vermesini sağlar. Bununla birlikte, bir Bayesçi için önemli ayrım, verilerin nasıl üretileceği hakkında değil, bilinmeyen ilgili parametrelerin posterior dağılımını elde etmek için neyin gerekli olduğu hakkında daha fazladır.

Ayırımcı model p (y | x), daha büyük modelin bir parçasıdır; burada p (y, x) = p (y | x) p (x). Birçok durumda, p (x), p (y | x) modelindeki parametrelerin posterior dağılımı ile ilgisizdir. Özellikle, p (x) parametreleri p (y | x) 'den farklıysa ve öncelikler bağımsızsa, p (x) modeli p (y | x) koşullu modelinin bilinmeyen parametreleri hakkında bilgi içermiyorsa, yani Bayesci'nin bunu modellemesi gerekmez.

Daha sezgisel bir düzeyde, "veri oluşturma" ve "arka dağılımı hesaplama" arasında açık bir bağlantı vardır. Rubin (1984) bu bağlantının aşağıdaki mükemmel açıklamasını vermektedir:

Bayes istatistikleri, eksik veriler göz önüne alındığında yararlıdır, çünkü rahatsızlık parametrelerini - entegrasyonu ortadan kaldırmak için birleşik bir yol sağlar. Eksik veriler (çok) sıkıntı parametresi olarak düşünülebilir. Beklenen değeri takmak gibi alternatif öneriler genellikle düşük performans gösterir çünkü eksik veri hücrelerini yüksek doğruluk düzeyleriyle nadiren tahmin edebiliriz. Burada entegrasyon maksimizasyondan daha iyidir.

P (y | x) gibi ayrımcı modeller de x eksik veriler içeriyorsa sorunlu hale gelir, çünkü yalnızca p (y | x_obs) değerini tahmin etmek için verilerimiz vardır, ancak çoğu mantıklı model tüm p (y | x) verilerine göre yazılır. Tam olasılıklı bir p (y, x) modeliniz varsa ve Bayesian iseniz, o zaman iyisiniz çünkü eksik verileri başka bilinmeyen miktarlarda olduğu gibi entegre edebilirsiniz.

@Tristan: Umarım genel noktayı nasıl olabildiğince şeffaf hale getirmeye çalıştığım için yanıtınızı yeniden düzenlemem önemli değildir.

Bana göre, birincilİstatistiklerdeki içgörü, Normal (mu, sigma) gibi bir olasılık üreten model tarafından üretildiği gibi değişen tekrarlanan gözlemleri kavramsallaştırmaktır. 1800'lü yılların başlarında, eğlenen olasılık üreten modeller genellikle sadece mu ve sigma gibi parametrelerin rolü ile ölçüm hataları ve bunların önceleri karıştırılmıştır. Frekansçı yaklaşımlar parametreleri sabit ve bilinmeyen olarak aldı ve bu nedenle olasılık üreten modeller sadece olası gözlemleri içeriyordu. Bayesci yaklaşımlar (uygun önceliklerle birlikte) hem olası bilinmeyen parametreler hem de olası gözlemler için olasılık oluşturma modellerine sahiptir. Bu ortak olasılık üreten modeller - daha genel olarak ifade etmek gerekirse - olası bilinmeyenleri (parametreler gibi) ve bilenleri (gözlemler gibi) kapsamlı bir şekilde açıklar. Verdiğiniz Rubin bağlantısında olduğu gibi,

Bu aslında Galton tarafından 1800'lerin sonunda iki aşamalı bir quincunx'ta çok açık bir şekilde tasvir edilmiştir. Bkz. Şekil 5> Stigler, Stephen M. 2010. Darwin, Galton ve istatistik

aydınlanma. Kraliyet İstatistik Kurumu Dergisi: Seri A 173 (3): 469-482 . .

Eşdeğerdir, ancak belki daha şeffaftır.

posterior = önceki (olası bilinmeyenler | olası bilinenler = bilir)

posterior ~ previous'den (olası bilinmeyenler) * p (olası bilinenler = bilir | olası bilinmeyenler)

Birincisi olarak eksik değerler için pek yeni bir şey eksik değer üreten bir olasılık modeli için olası bilinmeyenler eklemez ve eksiklere olası bilinenlerden biri olarak davranır (yani 3. gözlem eksikti).

Son zamanlarda, yaklaşık Bayes hesaplaması (ABC), bu yapıcı iki aşamalı simülasyon yaklaşımını p (olası bilir = bilir | olası bilinmeyenler) çözülemediğinde ciddiye almıştır. Ancak bu çözülebildiğinde ve MCMC örneklemesinden kolayca elde edilebildiğinde (veya önceki eşlenik nedeniyle posterior doğrudan mevcut olduğunda bile) Rubin'in daha kolay anlaşılmasını sağlayan bu iki aşamalı örnekleme yapısı hakkındaki görüşü göz ardı edilmemelidir.

Örneğin, @Zen'in burada ne yaptığını yakalayacağından eminim Bayesyalılar : olabilirlik fonksiyonunun köleleri? çünkü bir kişinin önceden bilinmeyen (c) aşamasından olası bir bilinmeyen c çizilmesi ve daha sonra p (olası 2 | c) olarak rastgele bir nesil olmayacak c (aşama 2) olduğu göz önüne alındığında olası bilinen (veriler) çizilmesi gerekirdi bir ve sadece bir dışında bir olasılık olmamalı c.

@Zen'den “Ne yazık ki, genel olarak, bu istatistiksel bir modelin geçerli bir tanımı değildir. Sorun şu ki, tanım gereği,$f_{X_i\mid C}(\,\cdot\mid c)$ Hemen hemen her olası değer için bir olasılık yoğunluğu olmalıdır$c$genel olarak açıkça yanlıştır. ”