Bayes logit modeli - sezgisel açıklama?

İtiraf etmeliyim ki, daha önce herhangi bir derste, lisans veya yüksek lisans derslerinde bu terimi duymadım.

Lojistik regresyonun Bayesci olması ne anlama geliyor? Aşağıdaki gibi düzenli lojistik Bayesian lojistik geçiş ile bir açıklama arıyorum:

Bu doğrusal regresyon modelindeki denklemdir: .$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Bu, lojistik regresyon modelindeki denklemdir: . Bu, y kategorik olduğunda yapılır.$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Yaptığımız şey yi .$E(y)$$\ln(\frac{E(y)}{1-E(y)})$

Peki Bayes lojistik regresyonundaki lojistik regresyon modeline ne yapıldı? Denklemle ilgili bir şey olmadığını tahmin ediyorum.

Bu kitap önizlemesi tanımlanmış gibi görünüyor, ama gerçekten anlamıyorum. Tüm bunlar daha önce olabilir mi? Nedir ? Birisi lütfen kitabın bir bölümünü veya Bayes logit modelini başka bir şekilde açıklayabilir mi?$\alpha$

Not: Bu daha önce sorulmuştur ancak bence çok iyi yanıtlanmamıştır.

Lojistik regresyon doğrusal bir kombinasyon olarak tanımlanabilir

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

bağlantı fonksiyonundan geçirilir :$g$

$$g(E(Y)) = \eta$$

Burada link işlevi bir logit işlevidir

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

burada yalnızca içindeki değerleri alır ve ters logit fonksiyonları doğrusal kombinasyonu değerini bu aralığa dönüştürür. Klasik lojistik regresyonu burada sona eriyor.$Y$$\{0,1\}$$\eta$

Bunu hatırlamak Ancak eğer tek değerler alan değişkenler için , daha olarak düşünülebilir . Bu durumda, logit fonksiyon çıktısı koşullu "başarı" olasılığı, yani olarak düşünülebilir . Bernoulli dağılımı bazı ikili sonucu gözleme olasılığını açıklayan bir dağıtım biz tarif böylece, parametre olarak$E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

Bu nedenle lojistik regresyon ile, bağımsız değişkenlere sahip ile doğrusal bir kombinasyon oluşturan bazı parametreler arıyoruz . Klasik regresyonda (bağlantı işlevinin kimlik işlevi olduğunu varsayarız), ancak içindeki değerleri alan modeline sığdırmak için dönüştürmemiz gerekir. içerisinde aralığında.$\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

Şimdi, bazı sabıkası pick up Bayes şekilde lojistik regresyon tahmin etmek lineer regresyon gibi parametreler (bkz Kruschke vd 2012 sonra doğrusal kombinasyonu dönüştürmek için logit işlevini kullanın) yüzden a olarak çıkış kullanmak, değişkeninizi tanımlayan Bernoulli dağılımının parametresi . Yani, evet, aslında denklemi ve logit link işlevini frekansçı durumdakiyle aynı şekilde kullanırsınız ve geri kalanı (örneğin, öncelikleri seçmek) Bayes yolunun lineer regresyonunu tahmin etmek gibi çalışır.$\beta_i$$\eta$$p$$Y$

Öncelikleri seçmek için basit yaklaşım, 'ler için ve parametreleri ile önceden ayarlanmış veya alınan Normal dağılımları (ancak - veya Laplace dağılımını daha sağlam model için de kullanabilirsiniz ) dan hiyerarşik priors . Şimdi, model tanımına sahip olarak, modeli tahmin etmeniz için Markov Chain Monte Carlo simülasyonunu gerçekleştirmek için JAGS gibi yazılımları kullanabilirsiniz . Aşağıda basit lojistik modeli için JAGS kodunu gönderiyorum ( daha fazla örnek için buraya bakın).$t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Gördüğünüz gibi, kod doğrudan model tanımına dönüşür. Ne yazılım yapar için normal priors gelen bazı değerleri çizer olduğunu ave bo zaman tahmin etmek bu değerleri kullanır pve son olarak, veri bu parametreleri verilmektedir nasıl olasılıkla değerlendirmek için olabilirlik fonksiyonunu kullanır (bu Bayes teoremi kullandığınızda, bkz olduğunu burada için daha ayrıntılı açıklama).

Temel lojistik regresyon modeli, hiyerarşik bir model ( hiperpriorlar dahil ) kullanarak öngörücüler arasındaki bağımlılığı modellemek için genişletilebilir . Bu durumda çizebilirsiniz$\beta_i$ bağımsız değişkenler arasında kovaryans hakkında bilgi sağlayan Çok Değişkenli Normal dağılımından 'ler$\boldsymbol{\Sigma}$

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

... ama bu ayrıntılara giriyor, o yüzden burada duralım.

Buradaki "Bayesci" kısım, Bayes teoremini kullanarak öncelikleri seçmek ve olasılık açısından terimleri tanımlamaktır. "Bayesci model" tanımı için buraya ve Bayesci yaklaşım hakkındaki bazı genel sezgi için buraya bakın . Ayrıca fark edebileceğiniz, modelleri tanımlamanın bu yaklaşımla oldukça basit ve esnek olmasıdır.

---

Kruschke, JK, Aguinis, H. ve Joo, H. (2012). Zamanı geldi: Örgütsel bilimlerde veri analizi için Bayesci yöntemler. Örgütsel Araştırma Yöntemleri, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM ve Su, Y.-S. (2008). Lojistik ve diğer regresyon modelleri için zayıf bilgilendirici bir varsayılan ön dağıtım. Yıllıklar Uygulamalı İstatistik, 2 (4), 1360-1383.

Tüm bunlar daha önce olabilir mi?

Bayes yapan budur. Veriler için üretken model aynıdır; fark, Bayes analizinin ilgili parametreler için önceden bir miktar dağılım seçmesi ve tüm çıkarımın dayandığı bir arka dağılımı hesaplaması veya yaklaşık olarak hesaplamasıdır . Bayes kuralı ikisini ilişkilendirir: Posterior önceki olasılık süreleriyle orantılıdır.

Sezgisel olarak, bu önceki bir analistin konu uzmanlığını veya önceden var olan bulguları ifade etmesini matematiksel olarak sağlar. Örneğin, başvurduğunuz metin için çok değişkenli bir normal olduğunu not eder. Belki de önceki çalışmalar, belirli normal parametrelerle ifade edilebilecek belirli bir parametre aralığını önermektedir. (Esneklik sorumluluğu beraberinde getirir: Şüpheci bir izleyici kitlesinden önce onların haklı çıkması gerekir.) Daha ayrıntılı modellerde, belirli gizli parametreleri ayarlamak için alan uzmanlığı kullanılabilir. Örneğin, bu cevapta atıfta bulunulan karaciğer örneğine bakın .$\bf\beta$

Bazı frekanslı modeller, belirli bir önceliğe sahip bir Bayesian muadili ile ilişkili olabilir, ancak bu durumda hangisine karşılık geldiğinden emin değilim.