Lojistik Regresyonu ve olasılığını anlama

Lojistik regresyonun parametre tahmini / eğitimi gerçekten nasıl çalışır? Şimdiye kadar sahip olduğum şeyi koymaya çalışacağım.

Bir olasılık şeklinde lojistik fonksiyonun çıkış x değerine bağlı olarak y çıktısı: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Bir boyut için Odds olarak adlandırılan aşağıdaki gibi tanımlanır: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Şimdi logW_0 ve W_1 işlevlerini doğrusal biçimde almak için fonksiyon ekleniyor: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Şimdi problem kısmına (Büyük X y) $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ Neden y = 1 olasılığını iki kez düşündüğümüzü söyleyebilir miyiz? şu tarihten beri: $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

ve ω değerlerini nasıl elde edebilirim?

regression logistic likelihood

— Motor
kaynak

Yanıtlar:

Genel olarak formun bir modelini almaya karar verdiğinizi varsayalım

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

bazı parametreler için . Sonra bunun olasılığını yazıyorsunuz, yani $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

ki aynı

L (Θ) = \underset{ben \in {1, . . ., N-}, y_{ben} = 1}{Π} P (y = 1 | x = x; Θ) \cdot \underset{ben \in {1, . . ., N-}, y_{ben} = 0}{Π} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Şimdi 'varsaymaya' karar verdiniz (model)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

burada

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

bu yüzden sadece olasılık için formülü hesaplar ve , örneğin newton yöntemi veya herhangi bir degrade tabanlı yöntem bulmak için bir tür optimizasyon algoritması . $\text{argmax}_\Theta L(\Theta)$

Bazen insanlar, lojistik regresyon yaparken, bir olasılığı en üst düzeye çıkarmadıklarını (yukarıda yaptığımız gibi) değil, bir kayıp fonksiyonunu en aza indirdiklerini söylüyorlar.

l (Θ) = - Σ_{ben = 1}^{N-} y_{ben} günlük (P (Y_{ben} = 1 | X = x; Θ)) + (1 - y_{ben}) günlük (P (Y_{ben} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

ancak dikkat edin . $-\log(L(\Theta)) = l(\Theta)$

Bu, Makine Öğreniminde genel bir örüntüdür: Pratik taraf (sezgisel bir modelin 'yanlış' olduğunu ölçen kayıp fonksiyonlarını en aza indirgemek) aslında 'teorik tarafa ( sembolüyle modellenerek, istatistiksel nicelikleri maksimuma çıkarmak) olasılıklar) ve aslında, olasılıklı olanlara benzemeyen birçok model (örneğin SVM'ler) olasılıksal bir bağlamda yeniden anlaşılabilir ve aslında olasılıkların maksimize edilmesidir. $P$

— Fabian Werner
kaynak

@Werner Cevabınız için teşekkürler. Ama yine de biraz açıklığa ihtiyacım var . 1.

tanımında yeryüzünde 2

ne için kaldığını açıklayabilir misiniz, çünkü anladığım kadarıyla

durumunda interessted'im . ve yardımınız için çok teşekkürler

değerlerini nasıl alabilirsiniz !

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

— Motor

@Engine: Büyük 'pi' bir üründür ... büyük bir Sigma

gibi bir toplamdır ... anlıyor musunuz veya bununla ilgili daha fazla açıklamaya mı ihtiyacınız var? İkinci soruda:

işlevini en aza indirgemek istediğimizi ve

başlayacağımızı ancak karmaşık olduğu için

bilmediğimizi / ifade edemediğimizi / görselleştiremediğimizi varsayalım . Şimdi türevi

olan

. İlginçtir ki eğer asgari

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$ sağa işaret eder ve eğer biz solda kalırsak sola işaret eder. Matematiksel olarak türev, 'en güçlü yükseliş' yönünü gösteriyor

— Fabian Werner

@Engine daha fazla boyutta Eğer gradyanı ile türevi yerine, yani rastgele noktada başlamak

ve hesaplamak gradyan

ve en üst düzeye çıkarmak için istediğiniz sonra bir sonraki nokta

olduğu

. Daha sonra işlem

ve bir sonraki

isimli

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

vb. Buna gradyan yükselmesi / alçalması denir ve bir işlevi en üst düzeye çıkarmada en yaygın tekniktir. Şimdi birlikte bunu

sizin notasyonu veya

bulmak için

maxeimizes

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

— Fabian Werner

@Engine:

ile hiç ilgilenmiyorsunuz ! 'Verilerinizi en iyi açıklayan '

ile ilgileniyorsunuz . Gönderen thet

aou 'kendisi için konuşmasını' modeli izin vermedi ve söz geri almak

ama her şeyden önce kurulum için bir model gerekiyor! Burada 'en iyi açıklar', 'en yüksek olasılığa sahip olmak' anlamına gelir, çünkü insanların ortaya çıkardığı şey budur (ve bence çok doğaldır) ... Bununla birlikte, başka ölçütler (farklı kayıp fonksiyonları vb.) kullanın! İki ürün biz modeli açıklamak istiyorum, çünkü vardır

sıra sıra

'iyiliği'

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

— Fabian Werner

Olabilirlik fonksiyonunuz (4) iki bölümden oluşur: sadece numunenizde başarılı olan kişiler için başarı olasılığının ürünü ve sadece numunenizde sadece başarısızlık yaşayan kişiler için başarısızlık olasılığının ürünü. Her bireyin bir başarı ya da başarısızlık yaşadığı, ancak ikisinde birden olmadığı göz önüne alındığında, olasılık her bir birey için sadece bir kez görünecektir. Bu ne ve ürün işaretleri altındaki ortalama. $, y_i=1$ $,y_i=0$

Katsayılar, (1) yerine (4) konularak olasılık fonksiyonuna dahil edilmiştir. Bu şekilde olabilirlik fonksiyonu bir fonksiyonu olur . Maksimum olabilirlik noktası, olasılığı en üst düzeye çıkaracak yi bulmaktır . $\omega$ $\omega$

— Maarten Buis
kaynak

Cevabınız için çok teşekkürler, üzgünüm ama hala anlamıyorum. değil

, ürünün tüm y'leri için y = 0 [gerçekleşme] olasılığı anlamına gelir. ve y_i = 1 için tam tersi. Ve yine de

değerlerini nasıl bulabilirim , 2. türevi hesaplayarak? veya gradyan? yardımın için çok teşekkürler !

y_{i} = 0

$y_i = 0$

ω

$\omega$

— Motor

kadarolan kişiler için ürün, ancak yalnızca

ise, bu nedenle ilk bölüm yalnızca verilerinizde olayı yaşayan kişiler için geçerlidir. ikinci bölüm sadece olayı tecrübe etmeyen kişileri ifade eder

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$

i = 1

$i=1$

N

$N$

y = 1

$y=1$

— Maarten Buis

Olabilirlik fonksiyonunu en üst düzeye çıkarmak için birçok olası algoritma vardır. En yaygın olanı, Newton-Raphson yöntemi , aslında birinci ve ikinci türevlerin hesaplanmasını içerir.

— Maarten Buis