Yoğunluk tahmininde bir Bayesian yaklaşımı var mı

Sürekli rastgele bir değişkeninin yoğunluğunu tahmin etmekle ilgileniyorum . Bunu öğrenmenin bir yolu Çekirdek Yoğunluğu Tahmini kullanımıdır.$X$

Ama şimdi, aşağıdaki satırlardaki Bayes yaklaşımıyla ilgileniyorum. Başlangıçta F dağılımını takip ettiğine inanıyorum . Attığım n okumalar X . Yeni okumalarıma dayanarak F güncelleme konusunda bazı yaklaşımlar var mı ?F n X $X$$F$$n$$X$$F$

Kendimle çelişiyormuşum gibi geldiğimi biliyorum: Yalnızca $F$ önceki dağıtımım olduğuna inanıyorsam , hiçbir veri beni aksi halde ikna etmemelidir. Bununla birlikte, varsayalım $F$ edildi $Unif[0,1]$ ve benim veri noktaları gibi edildi $(0.3, 0.5, 0.9, 1.7)$ . Görme $1.7$ , Açıkçası benim önceki sopa olamaz, ama onu nasıl güncellemek gerekir?

Güncelleme: Yorumlardaki önerilere dayanarak Dirichlet sürecine bakmaya başladım. Aşağıdaki notasyonları kullanmama izin verin:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Asıl sorunumu bu dilde kurduktan sonra sanırım aşağıdakilerle ilgileniyorum: $\theta_{n+1} | x_1,...,x_n$ . İnsan bunu nasıl yapar?

Bu not setinde (sayfa 2), yazar $\theta_{n+1} | \theta_1,...,\theta_n$ (Polya Urn Şeması). Bunun alakalı olup olmadığından emin değilim.

Güncelleme 2: Ayrıca (notları gördükten sonra) sormak istiyorum: insanlar DP için nasıl seçer ? Rastgele bir seçim gibi görünüyor. Ek olarak, insanlar DP için nasıl bir öncelikli seçer ? için önceliğim olarak sadece için bir öncelik mi kullanmalıyım?H θ $\alpha$$H$$\theta$$H$

Bir bayes yaklaşımı istediğinden, tahmin etmek istediğin şey hakkında önceden bilgi sahibi olman gerekir. Bu bir dağıtım şeklinde olacaktır.

Şimdi, bunun şimdi dağıtımlar üzerinde bir dağıtım olduğu sorunu var. Ancak, eğer aday dağıtımlarının bazı parametreli dağıtım sınıflarından geldiğini varsayarsanız, bu bir sorun değildir.

Örneğin, verinin bilinmeyen ortalama ancak bilinen varyans ile dağıtılmış Gauss olduğunu varsayarsanız, tek ihtiyacınız olan şey ortalamanın üzerinde bir önceliktir.

Bilinmeyen parametre MAP kestirimleri (çağıracağı $\theta$ tüm gözlemler / veri noktaları bilinmeyen parametre verilen şartlı bağımsız oldukları varsayarak devam olabilir). O zaman, MAP tahmini

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

nerede

.$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

Önceki olasılık ve aday dağılımlarının özel kombinasyonlarının olduğu belirtilmelidir.$\text{Pr}[\theta]$ Daha fazla veri noktaları kadar kolay (kapalı form) yol güncellemelerini vermek alınır.$\text{Pr}[x | \theta]$

Yoğunluk tahmini için ihtiyacınız olan şey değil

.$\theta_{n+1}|x_{1},\ldots,x_{n}$

Notlardaki formül $\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$ Dirichlet sürecinin öngörü dağılımına reffers.

Yoğunluk tahmini için aslında tahmin dağıtım gelen numunenin zorunda

Yukarıdaki dağılımdan örnekleme şartlı yöntemlerle ya da marjinal yöntemlerle yapılabilir. Koşullu yöntemler için, Stephen Walker'ın makalesine bir göz atın [1]. Marjinal yöntemler için Radford Neal gazetesinde [2] kontrol etmelisiniz.

Konsnetrasyon parametresi Mike West [3], MCMC prosedüründe α için tam koşullu dağılım içeren çıkarım için bir yöntem önermektedir . MCMC prosedüründe α konsantrasyonunu güncellememeye karar verirseniz, bunun için daha büyük bir değer seçerseniz, Dirichlet işleminden çizilen farklı değerlerin sayısının, belirli zamanlardaki farklı değerlerin sayısından daha büyük olacağını unutmayın. α için küçük bir sayı$\alpha$$\alpha$$\alpha$$\alpha$ kullanılacaktır.

[1] SG, Walker (2006). Dirichlet Mixture modelini dilimlerle örnekleme. Statikte İletişim (Simülasyon ve Hesaplama).

[2] RM, Neal (2000) Markov Chain Dirichlet Process Mixture modellerinde Monte Carlo yöntemleri. Hesaplamalı ve Grafiksel İstatistik Dergisi. Cilt 9, Sayı 2, sayfa 249-265

[3] M., West (1992). Dirichlet proses karışım modellerinde hiperparametre kestirimi. Teknik rapor

Yeni okumalarıma dayanarak F güncelleme konusunda bazı yaklaşımlar var mı?

Bunun için kesin bir şey var. Bu hemen hemen Bayesian çıkarımının ana fikri.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

$p(\theta)$ senin önceliğin, ne dediğin $F$. $p(y|\theta)$Bayeslilerin "olasılık" dediği şeydir ve verilerinizi bir miktar teta verilmiş olarak gözlemleme olasılığıdır. Onları bir araya getirip "posterior" dağılımı denilen şeyi al$\theta$. Bu sizin "güncellenmiş F" dir. Bayesian İstatistikleri kitabına giriş bölümünde 1. bölüme bakınız.

Kurtulmak zorunda değilsin $p(\theta)$ (önceliğiniz), bunun artık en iyi tahmininiz olmadığını, şimdi de iyileştirmek için verilerinizin olduğunu fark etmeniz gerekiyor.