Bayes regresyonu: Standart regresyon ile karşılaştırıldığında nasıl yapılır?

Bayesian regresyonu hakkında bazı sorularım var:

gibi standart bir regresyon . Bunu bir Bayesian regresyonuna dönüştürmek , ve için önceden dağıtımlara ihtiyacım var (yoksa bu şekilde çalışmıyor)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
Standart regresyonda biri artıkları en aza indirmeye ve için tekli değerler elde . Bayes regresyonunda bu nasıl yapılır? $\beta_0$ $\beta_1$

Burada gerçekten çok mücadele ediyorum:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Olasılık şu anki veri setinden geliyor (yani bu benim regresyon parametrem, ancak tek bir değer değil, bir olasılık dağılımı, değil mi?). Önceki önceki bir araştırmadan gelir (diyelim). Böylece şu denklem var:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

ile benim olabilirlik veya arka olmak (ya da bu sadece tamamen yanlıştır)? $\beta_1$

Standart regresyonun bir Bayes'e nasıl dönüştüğünü anlayamıyorum.

regression bayesian

— TinglTanglBob
kaynak

Yanıtlar:

Basit doğrusal regresyon modeli

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

Arkasındaki olasılıksal model açısından yazılabilir.

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

yani bağımlı değişkeni , ortalama parametreleştirilmiş normal dağılımı takip , bu, ve standart sapma parametrelediği lineer bir fonksiyonudur . Eğer böyle bir modeli normal en küçük kareler kullanarak tahmin ederseniz , olasılıklı formülasyon hakkında zahmete girmenize gerek yoktur, çünkü takılı değerlerin kare hatalarını tahmin edilen değerlere minimize ederek en uygun parametrelerini araştırıyorsunuzdur. Diğer yandan, bu tür bir modeli , olasılık olasılığını en üst düzeye çıkararak, parametrelerin optimal değerlerini arayacağınız maksimum olasılık tahminini kullanarak tahmin edebilirsiniz. $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

burada değerlendirilen normal dağılımın bir yoğunluk fonksiyonu olan vasıtasıyla parametrize sayı, ve standart sapma . $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

Bayesian yaklaşımında tek başına olabilirlik fonksiyonunu maksimize etmek yerine , parametreler için önceki dağılımları üstlenir ve Bayes teoremini kullanırdık.

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

Olabilirlik işlevi yukarıdakiyle aynıdır, ancak ne değişiklik var , tahmin edilen parametreler için bazı önceki dağıtımları kabul edip denklemin içine eklemeniz $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"Hangi dağıtımlar?" Sınırsız sayıda seçenek olduğu için farklı bir soru. İçin örneğin yapabildin parametreler normal bazıları tarafından parametrize dağılımları varsayalım hyperparameters veya -Dağıtım size çok varsayımda bulunmak istemiyorsanız ağır kuyrukları veya tekdüze dağılım varsaymak istiyorum ama varsaymak istiyorum parametrelerin önceden belirlenmiş "herhangi bir aralıktaki herhangi bir şey" olabileceği , vb. olabilir. için , standart sapmanın pozitif olması gerektiğinden, sıfırdan daha büyük olacak şekilde sınırlı olan bazı önceki dağılımları varsaymanız gerekir . Bu, aşağıda John K. Kruschke tarafından gösterilen model formülasyonuna yol açabilir. $\alpha,\beta$ $t$ $\sigma$

(kaynak: http://www.indiana.edu/~kruschke/BMLR/ )

Maksimum olasılıkta, her bir parametre için tek bir optimal değer ararken, Bayes yaklaşımında Bayes teoremini uygulayarak parametrelerin posterior dağılımını elde edersiniz . Nihai tahmin Verilerinizden ve gelen bilgilere bağlı olacaktır priors ancak daha bilgi veri bulunan, daha az etkilidir Sabıkası .

Tek tip öncelleri kullanırken , normalleştirme sabitlerini bıraktıktan sonra biçimini aldıklarına dikkat edin . Bu, Bayes teoremini tek başına olabilirlik fonksiyonuyla orantılı yapar, böylece posterior dağılım, maksimum olabilirlik tahmini ile tam olarak aynı noktada maksimumuna ulaşır. Bundan sonra, üniforma öncelikleri altındaki tahmin, sıradan en küçük kareleri kullanmakla aynı olacaktır, çünkü kare hataların en aza indirilmesi normal olasılığın en yükseğe çıkarılmasına karşılık gelir . $f(\theta) \propto 1$

Bayesian yaklaşımında bir modeli tahmin etmek için bazı durumlarda eşlenik önceleri kullanabilirsiniz , böylece posterior dağılım doğrudan kullanılabilir durumdadır ( buradaki örneğe bakınız ). Bununla birlikte, çoğu durumda posterior dağılım doğrudan mümkün olmayacak ve modeli tahmin etmek için Markov Chain Monte Carlo yöntemlerini kullanmanız gerekecek (doğrusal regresyon parametrelerini tahmin etmek için bu Metropolis-Hastings algoritmasını kullanma örneğini kontrol edin ). Eğer parametrelerin nokta tahminlerinde sadece ilgilenen Son olarak, şunu kullanabilirsiniz maksimum sonradan tahmini , yani

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Lojistik regresyonun daha ayrıntılı açıklaması için, Bayesian logit modelini - sezgisel açıklamayı kontrol edebilirsiniz. Konu.

Daha fazla bilgi edinmek için aşağıdaki kitapları inceleyebilirsiniz:

Kruschke, J. (2014). Bayesian Veri Analizini Yapmak: R, JAGS ve Stan İle Bir Ders. Akademik Basın.

Gelman, A., Carlin, JB, Stern, HS ve Rubin, DB (2004). Bayes veri analizi. Chapman ve Salon / CRC.

— Tim
kaynak

+1 Sorunun belirtilme şekli dikkate alındığında, belki de bu felsefi farkı biraz daha vurgulayabilirim: Olağan en küçük kareler ve maksimum olabilirlik tahmininde, " için en iyi değerler (belki daha sonra için" ) kullanılır?" $\beta_i$ Oysa tam olarak Bayesian yaklaşımında, “Bilinmeyen değerler hakkında ne söyleyebiliriz ?” $\beta_i$ ve sonra nokta tahminine ihtiyaç duyulduğunda maksimum posteriori veya posterior ortalamayı kullanmaya devam edebilirsiniz.

— JiK,

+1. Bayesian ve OLS yaklaşımları arasındaki ilişkiyi açıklığa kavuşturmak için faydalı olabilecek bir şey daha, OLS'nin önceden bir düzlem altında (en azından anladığım kadarıyla) arka ortalama olarak anlaşılabilmesidir. Cevabınızı biraz daha ayrıntılı anlatabilirseniz çok iyi olur.

— amip diyor Reinstate Monica,

@ amoeba bu iyi bir nokta, bunu düşüneceğim. Fakat bir yandan, cevabı açıkça uzun yapmak istemiyorum, bu yüzden ayrıntılara girmenin bir anlamı var.

— Tim

@ amoeba FYI, bu konuda kısa bir yorum ekledim.

— Tim

veri kümesine burada , bir Bayesian Doğrusal Regresyon sorunu takip eden yol: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ vektördür , bu yüzden önceki dağılım çok değişkenli bir Gaussian; ve , kimlik matrisidir. $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Olabilirlik:

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

Biz varsayalım $Y_i \perp Y_j | w, i \neq j$

Şimdilik, varyans yerine hassasiyeti kullanacağız, ve . bilindiğini de varsayalım . $a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

Öncelikle

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

Ve olasılık

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

burada ve a, matris i-inci satır burada . $y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

Sonra arkadaki

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

Birçok hesaplamadan sonra şunu keşfediyoruz:

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

nerede ( hassas bir matristir) $\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

nın normal lineer regresyonun e eşit olduğuna dikkat edin , bunun nedeni Gaussian için ortalama moddur. $\mu$ $w_{MAP}$

Ayrıca, üzerinde biraz cebir yapabilir ve aşağıdaki eşitliği elde edebiliriz ( ): $\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

ve ile karşılaştırın : $w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

içindeki ekstra ifade karşılık gelir. Bu, Ridge regresyonunun ifadesine benzer, olduğunda özel durum için . Ridge regresyonu daha geneldir çünkü teknik uygunsuz önceleri seçebilir (Bayes perspektifinde). $\mu$ $\lambda = \frac{b}{a}$

Tahmini posterior dağılım için:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

hesaplamak mümkün

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Referans: Lunn ve diğ. Hata Kitabı

JAGS / Stan gibi bir MCMC aracını kullanmak için Kruschke’in Bayesian Veri Analizini Yapması

— jpneto
kaynak

Teşekkürler jpneto. Bunun harika bir cevap olduğunu hissediyorum, ancak matematik bilgisindeki eksiklikten dolayı henüz anlamıyorum. Ama bazı matematik becerileri kazandıktan sonra kesinlikle tekrar okuyacağım

— TinglTanglBob

Bu çok hoş, ama hassasiyetin bilindiği varsayımı biraz nadir görülür. Varyans için ters bir Gama dağılımı, yani hassasiyet için bir Gama dağılımı varsaymak daha yaygın değil mi?

— DeltaIV

+1. "Ridge regresyon daha geneldir çünkü teknik uygunsuz önceleri seçebilir" hakkında biraz daha yorum yapabilir misiniz? Anlamadım. öncesi RR = Gauss (uygun) olduğunu düşündüm .

w

$w$

— amip diyor Reinstate Monica,

@ amoeba: Gaussian önceliği ancak sıfır olabilir, bu da uygunsuz bir sonuçlanır, yani MLE ile sonuçlanır.

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

— jpneto

@DeltaIV: Elbette, bir parametre hakkında belirsizliğimiz olduğunda, bunu bir öncekiyle modelleyebiliriz. Bilinen hassasiyetin varsayımı, analitik bir çözüm bulmayı kolaylaştırmaktır. Genellikle, bu analitik çözümler mümkün değildir ve MCMC veya bazı değişken teknikler gibi yaklaşımları kullanmalıyız.

— jpneto