Bayesçi parametre kestiriminde önceden nasıl seçilir

Parametre tahmini yapmak için 3 yöntem biliyorum, ML, MAP ve Bayes yaklaşımı. MAP ve Bayes yaklaşımı için parametreler için öncelikler seçmeliyiz, değil mi?

Diyelim ki MAP veya Bayes kullanarak tahmin yapmak için parametreler olan bu modelim var , kitapta bir konjugat seçmemiz gerektiğini okudum önce a,, ortak olasılığı , tamam mı? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

2 sorum var:

Bu eşlenik olandan öncekini seçecek başka seçeneklerimiz var mı?
ve sırasıyla ve gibi öncelikleri seçebilir miyiz ? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— Avokado
kaynak

Hangi yazılımı kullanacağınıza bağlı olarak, önceliklerin kesinlikle olabilirlik işlevine bağlı olması gerekmez ... her şeyden önce, önceliklerinizin parametrelerin dağılımı hakkındaki önceki inançlarınızı temsil ettiğinden emin olmalısınız

— Patrick Coulombe

Parametreler için sırasıyla öncelikleri seçebilirdim, değil mi? GERÇEKTEN sadece baysian lineer regresyonu anlamaya çalışıyorum, belirli bir yazılım düşünülmedi

— avokado

Önceden ortaya

— çıkarmaya

Yanıtlar:

Yorumda belirtildiği gibi, önceki dağılım, parametrelerin dağılımı hakkındaki önceki inançları temsil eder.

Önceki inançlar gerçekten mevcut olduğunda şunları yapabilirsiniz:

bunları bu anlara ortak bir dağılıma uyacak şekilde momentler (örneğin ortalama ve varyans) olarak dönüştürün (örn. parametreniz gerçek satıra aitse Gauss, ise Gama ). $R^+$
bu inançlar hakkındaki sezgisel anlayışınızı belirli bir ön dağıtım önermek ve amacınıza gerçekten uyup uymadığını ve keyfi seçimlere duyarlı olup olmadığını kontrol etmek için kullanın (sağlamlık veya duyarlılık analizi yapmak)

Açık bir önceki inanç mevcut olmadığında şunları yapabilirsiniz:

(ya da eğer zaten mevcutsa kullanın, büyük bir kaynak http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) bir Jeffreys (örneğin bir konum parametresi için üniforma) veya bir referans (özellikle de çok değişkenli parametreler durumunda).
bazen bu tür seçimlerin elde edilmesi imkansızdır veya oldukça zordur ve bu durumda, pek çok "jenerik" zayıf bilgilendirici (daha önce hiyerarşik model ölçek parametreleri için tekdüze büzülme dağılımı veya gaussian regresyon için prior) arasından seçim yapmaya çalışabilirsiniz. . $g$

Bunu söyledikten sonra, bir eklemi veya bağımsız bir önceliği kullanmak için herhangi bir kısıtlama yoktur ( Vs ). Bir tamamlayıcı olarak, mütevazi görüşüme göre, bir önceliği seçerken dikkat edilmesi gereken üç önemli şey olduğunu söyleyebilirim: $p(a,b)$ $p(a) \cdot p(b)$

posteriorunuzun hemen hemen her yerde (veya uygun) entegre olabileceğine dikkat edin, eğer entegre bir öncekini kullanırsanız her zaman doğrudur ( daha fazla bilgi için Bayes posteriorunun uygun bir dağıtım olması gerekiyor mu? ),
önceliğinizin desteğini yalnızca destek sınırlarından fazlasıyla eminseniz sınırlayın (bu yüzden bunu yapmaktan kaçının).
ve son fakat aynı derecede önemli olarak, (çoğunlukla deneysel olarak) önceki seçiminizin ifade etmek istediğiniz şey anlamına geldiğinden emin olun. Bence bu görev bazen daha kritik. Hiçbir zaman çıkarım yaparken, tek başına hiçbir şey ifade etmediğini, posterioru (önceki ve olasılık kombinasyonudur) dikkate almanız gerektiğini asla unutma.

— peuhp
kaynak

Çok teşekkür ederim, lütfen bu tür bayes çıkarımının nasıl yapılacağı hakkında bazı öğretici şeyler önerebilir misiniz?

— avokado

@loganecolss Rica ederim, birkaç ay önce biraz kaybolmuştum ve bu yazı sadece kendi çalışmamın özeti ve başka birine yardımcı olabilirse mutluyum. Sorunuzla ilgili olarak, "bu tür bir bayesci çıkarım" ile ne demek istiyorsunuz?

— peuhp

Ben de kendi kendine çalışıyorum makine öğrenme şeyler, ML biliyordum, ama parametre tahmin bu bayes yaklaşımı benim için yeni, umarım bana bayes tahmin ve çıkarım öğrenmek için bazı malzeme gösterebilir, ;-)

— avokado

@loganecolss, Bu MLE, MAP ve Bayesian çıkarımın iyi bir özetidir. Ve bu bağlantı , bir binom dağılımı için Bayesci bir çıkarımdan önce nasıl dahil edileceğinin iyi bir özetini verir.

— Zhubarb

Küçük bir detaylandırma: Uygun bir önceki temsil bir parametrelerle ilgili inançların tutarlı bir set. Sizin inançlarınız olmak zorunda değiller . Aslında modeller, başkalarının modelleri olduğunda genellikle daha ikna edicidir.

— eşlenik

Ayrıca ampirik Bayes var. Fikir, verilerden önce ayar yapmaktır:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Bu ilk başta garip görünse de, aslında minimum açıklama uzunluğuyla ilişkiler vardır. Bu aynı zamanda Gauss süreçlerinin çekirdek parametrelerini tahmin etmenin tipik yoludur.

— bayerj
kaynak

Yukarıdaki iki soruyu doğrudan cevaplamak için:

Konjugat öncelikleri dışında konjugat olmayan öncelikleri seçmek için başka seçenekleriniz de vardır. Sorun şu ki, eğer konjugat olmayan öncelikleri seçerseniz, tam Bayesci çıkarımda bulunamazsınız (basitçe söylemek gerekirse, yakın bir form posterior elde edemezsiniz). Bunun yerine, posterior elde etmek için yaklaşık çıkarım yapmanız veya Gibbs örneklemesi, Reddetme örneklemesi, MCMC vb. Gibi örnekleme yöntemlerini kullanmanız gerekir. Örnekleme yöntemlerindeki sorun, sezgisel olarak, tekrar tekrar dokunarak karanlıkta bir fil resmi çizmek gibidir ---- önyargılı ve eksik olabilirsiniz. İnsanların konjügat olmayanı daha önce seçmelerinin nedeni, belirli bir olasılıkla, konjugat önceki seçeneğinin oldukça sınırlı olması veya birçoğunun konjugat olmamasıdır.
Evet, kesinlikle yapabilirsiniz. Α ve β bağımsızsa, ki bu idealist durumdur, eklem dağılımlarını p (α) p (β) ile türetebilirsiniz. Bağımsız değilse, koşullu olasılığı bulmanız ve eklem dağılımını türetmek için integral almanız gerekebilir.

— talentcat
kaynak