Çok sınıf için lojistik regresyon

Tarafından verilen çoklu sınıf için lojistik regresyon modelini aldım

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

burada k sınıf sayısı theta'nın tahmin edilecek parametredir j jth sınıfıdır Xi eğitim verileri

Alamadım bir şey, payda kısmı modelin nasıl normalleştirildiğidir. Yani olasılığı 0 ile 1 arasında tutuyor.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Yani lojistik regresyon varlığına alışkınım

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Aslında, nomalizasyon olayıyla kafam karıştı. Bu durumda, sigmoid bir işlev olduğu için, değerin asla 0'dan küçük veya 1'den büyük olmasına izin vermez. Ancak çok sınıflı durumda kafam karıştı. Neden böyle?

Bu benim referansım https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-Şubat/029738.html . Bence normalleştirme olmalı

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— user34790
kaynak

İpucu: Lojistik regresyonda kapalı olarak ele alınması gereken iki olasılık vardır: olasılığı ve olasılığı . Bu olasılıklar olmalıdır .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

Diğer yayınlarınızdan bazılarına göre, denklemleri nasıl işaretleyeceğinizi biliyorsunuz. Buradaki metin denklemlerinin okunması zordur ve (abonelikler?) Kafa karıştırıcıdır - bunları ile işaretleyebilir misiniz ?

L A T E X

$\LaTeX$

— Makro

Burada çok fazla soru yayınladığınızdan, lütfen iyi soruları nasıl soracağınızla ilgili SSS bölümümüzü duraklatın ve okuyun. Denklemlerinizi okunabilir hale getirmek için işaretleme yardımını okuyun .

T E X

$\TeX$

— whuber

Denklemi düzenledim. @ Whuber Aslında, ikili değil çoklu sınıf lojistik regresyonu ile ilgili kafam karıştı. Donominator'daki tüm elemanları eklediğimde olasılığı normalleştirdiğimde

— endişeliyim

@ user34790, her terimi toplamla böldüğünüzde, bireysel sınıf olasılıkları 1'e eşit olur. Bu arada nedir?

X^{(i)}

$X^{(i)}$

— Makro

Yanıtlar:

Formülünüz yanlış (toplamın üst sınırı). sınıfları ile lojistik regresyonda ( ) temel olarak referans veya pivot olarak bir sınıf seçtiğiniz ikili lojistik regresyon modelleri yaratırsınız. Genellikle, son sınıf referans olarak seçilir. Böylece, referans sınıfın olasılığıOlasılığın genel şekliOlarak -inci sınıfı, referans ve bu nedenle $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ Sonunda tüm için aşağıdaki formülü elde edersiniz :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— SEBP
kaynak

Maksimum olasılık yapıyorsanız, referans sınıfı seçiminin önemli olmadığını unutmayın. Ancak cezalandırılmış maksimum olasılık veya bayes çıkarsama yapıyorsanız, olasılıkları aşırı parametreli bırakmak ve cezanın aşırı parametrelendirmeyi ele almanın bir yolunu seçmesine izin vermek genellikle daha yararlı olabilir. Bunun nedeni, çoğu ceza işlevinin / önceliğinin referans sınıfının seçimine göre değişmez olmaması

— olasılık

@sebp, öyle görünüyor biraz kafa karıştırıcı; gözlem için ve kategori yinelemesi için başka bir harf kullanmak daha iyi olur .

i

$i$

i

$i$

k

$k$

— garej

Sana bir yazım hatası karıştı ediliyor düşünüyorum: Sizin olmalıdır birinci denklemde. Eğer lojistik durumda bakınız 1'ler aslında örneğin, s, bir olduğunda inci . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Diyelim ki . Şimdi son formülasyondan gibi lojistik regresyon sürümüne ulaşabileceğinizi unutmayın. Birden fazla sınıf için, ilk iki miktardaki paydayı üstel lineer öngörücülerin toplamıyla değiştirin. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— conjugateprior
kaynak