Beta dağılımı ile lojistik regresyon modeli arasındaki ilişki nedir?

Sorum şu: Beta dağılımı ile lojistik regresyon modelinin katsayıları arasındaki matematiksel ilişki nedir ?

Örneklemek gerekirse: lojistik (sigmoid) fonksiyonu

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

lojistik regresyon modelindeki olasılıkları modellemek için kullanılır. Let $A$ iki seçenekli bir olması $(0,1)$ attı sonuç ve $X$ bir tasarım matrisi. Lojistik regresyon modeli,

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Not , birinci sabit (kesişme) sütununa sahiptir ve , regresyon katsayılarının bir sütun vektörüdür. Örneğin, bir (standart normal) geri çekici olduğunda ve tercih (kesişme) ve , biz benzetilebilir Elde edilen 'olasılıkların dağıtım'. $X$ $1$ $\beta$ $x$ $\beta_0=1$ $\beta_1=1$

Bu grafik , yoğunluğu tarafından verilen Beta dağılımını (diğer seçimleri için çizimler gibi) hatırlatır. $\beta$

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Maksimum olasılık veya moment yöntemlerini kullanarak , ve dağılımından tahmin edilmesi mümkündür . Böylece sorum şu şekilde ortaya çıkıyor: ve ve seçenekleri arasındaki ilişki nedir? Bu, başlangıçta, yukarıda verilen iki değişkenli davayı desteklemektedir. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— Tomka
kaynak

Bunu 3 saat önce Bayesci istatistik sınıfımda merak ediyordum

— Alchemist

Yanıtlar:

Beta, aralığındaki, şekli bakımından çok esnek olan değerlerin bir dağılımıdır , bu nedenle içindeki değerlerin hemen hemen tüm modimatik ampirik dağılımları için, şekli andıran bu beta dağıtımının parametrelerini kolayca bulabilirsiniz. dağıtım. $(0,1)$ $(0,1)$

$\Pr(Y=1\mid X)$

Lojistik regresyon modelinden tahmin dağılımına bakıldığında lojistik regresyon parametreleri ile beta dağılım parametreleri arasında doğrudan bir ilişki yoktur. Aşağıda, lojistik fonksiyon kullanılarak dönüştürülmüş normal, üstel ve düzgün dağılımlar kullanılarak simüle edilmiş verileri görebilirsiniz. Tam olarak aynı lojistik regresyon parametrelerini (yani ) kullanmanın yanı sıra , tahmin edilen olasılıkların dağılımları çok farklıdır. Dolayısıyla, tahmin edilen olasılıkların dağılımı sadece lojistik regresyon parametrelerine değil, aynı zamanda dağılımlarına da bağlıdır ve bunlar arasında basit bir ilişki yoktur. $\beta_0 = 0, \beta_1 = 1$ $X$

Beta deki değerlerin dağılımı olduğu için , ikili verilerin lojistik regresyonda olduğu gibi modellenmesi için kullanılamaz. Olasılıkları modellemek için kullanılabilir , bu şekilde beta regresyonunu kullanırız (ayrıca buraya ve buraya bakın ). Dolayısıyla, olasılıklar (rasgele değişken olarak anlaşılır) davranışı ile ilgileniyorsanız, beta regresyonunu bu amaçla kullanabilirsiniz. $(0,1)$

— Tim
kaynak

Beta böyle bir dağılıma yaklaşabiliyorsa parametreleri ile

arasında bir ilişki olmamalı mı?

β

$\beta$

— tomka

@tomka ancak dağıtım verilerinizin ve parametrelerin dağılımına bağlıdır , bu yüzden böyle bir ilişki bile çok karmaşıktır. Açıkça regresyon parametreleri ile beta dağılım parametreleri arasında doğrudan bir ilişki yoktur.

için farklı dağılımlar kullanarak aynı parametreler altında lojistik regresyon tahminlerini simüle etmeyi deneyin , marjinal dağılım her durumda farklı olacaktır.

X

$X$

— Tim

Beta dağılımı o kadar esnek değildir - çok modlu dağılımları tahmin edemez.

— Marcus PS

@MarcusPS Daha açık bir şekilde ifade ettim.

— Tim

@MarcusPS, 0 ve 1 modlu çok modlu dağılımlar özel durumu hariç ...

— Ben Bolker

Lojistik regresyon, Genelleştirilmiş Doğrusal Modelin (GLM) özel bir örneğidir. Bu özel ikili veri durumunda, lojistik işlev eldeki doğrusal olmayan regresyon problemini doğrusal bir probleme dönüştüren kanonik bağlantı fonksiyonudur . GLM'ler, sadece üstel familyadaki (Binom dağılımı gibi) dağılımlar için geçerli oldukları için biraz özeldir.

Bayes kestiriminde Beta dağılımı, binom dağılımından önceki eşleniktir, yani binom gözlemlerinden önceki bir Beta sürümüne yönelik Bayes güncellemesinin Beta posterior ile sonuçlanacağı anlamına gelir. Dolayısıyla, ikili verilerin gözlemleri için sayımlarınız varsa, daha önce bir Beta kullanarak binom dağılımının parametrelerinin analitik bir Bayes tahminini alabilirsiniz.

Yani, başkaları tarafından söylenenler boyunca, doğrudan bir ilişki olduğunu düşünmüyorum, ancak hem Beta dağılımı hem de lojistik regresyon, binom dağılımını takip eden bir şeyin parametrelerini tahmin etmekle yakın ilişkilere sahip.

— Marcus PS
kaynak

Bayesian perspektifinden bahsettiğim için zaten + 1'ledim, ancak regresyon modeli durumunda beta-binomial model kullanmadığımızı ve genel olarak beta dağılımının parametreler için bir öncü olarak kullanılmadığına dikkat edin - en azından tipik Bayesian lojistik durumunda gerileme . Dolayısıyla bu doğrudan beta-binomial modele dönüşmez.

— Tim

Belki doğrudan bir bağlantı yoktur? dağılımı büyük ölçüde simülasyonunuza bağlıdır . Simülasyonu Eğer ile , ile olacaktır log-normal dağılımı verilen . dağılımı $P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ daha sonra açıkça bulunabilir: cdf ile $P(A=1|X)$ ters cdf

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

ve pdf

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$ hangi Beta dağılımının benzerlik yoktur.

Yukarıda verilen sonuçları R'de doğrulayabilirsiniz :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Francis
kaynak

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: Görünüşe göre bir şeyleri yanlış anladım, o kısmı kaldırdım.

— Francis