Lojistik regresyon neden doğrusal bir sınıflandırıcıdır?

Girdilin doğrusal bir kombinasyonunu doğrusal olmayan bir çıktıya dönüştürmek için lojistik işlevini kullandığımızdan, lojistik regresyon nasıl doğrusal bir sınıflandırıcı olarak değerlendirilebilir?

Doğrusal regresyon, gizli katmanı olmayan bir sinir ağı gibidir; peki neden sinir ağları doğrusal olmayan sınıflandırıcılar olarak kabul edilir ve lojistik regresyon neden doğrusaldır?

logistic classification neural-networks

— Jack Twain
kaynak

"Girişin doğrusal bir kombinasyonunu doğrusal olmayan bir çıktıya dönüştürmek" bir Lineer Sınıflandırıcı tanımının temel bir parçasıdır . Bu, Sinir Ağlarının genel olarak doğrusal sınıflandırıcılar olarak ifade edilemeyeceğini gösteren miktar olan ikinci soruyu azaltır.

— whuber

@whuber: Nasıl bir lojistik regresyon modeli polinom belirleyici değişkenleri alabilir gerçeğini açıklıyoruz (örneğin

) doğrusal olmayan bir karar sınırını üretmek için? Bu hala doğrusal bir sınıflandırıcı mı?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@ İstif "Doğrusal sınıflandırıcı" kavramı, bir doğrusal model kavramı ile ortaya çıkmıştır . Bir modeldeki "Doğrusallık", istatistik.stackexchange.com/a/148713 adresinde açıklanan şekilde çeşitli biçimlerde olabilir . Doğrusal sınıflandırıcıların Wikipedia karakteristiğini kabul edersek , o zaman polinom örneğiniz verilen "özellikler"

açısından doğrusal olmayan olarak görülecektir ancak

özellikleri açısından doğrusal olacaktır . Bu ayrım, doğrusallığın özelliklerinden yararlanmak için yararlı bir yol sağlar.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

Hala bir lojistik sınıflayıcı doğrusal karar sınırı nedir sorusu hakkında biraz kafam karıştı? Andrew Ng makine öğrenim kursunu Coursera'da izledim ve aşağıdakilerden bahsetti :! [Buraya resim açıklamasını girin ] ( i.stack.imgur.com/gHxfr.png ) Aslında bana öyle geliyor ki, kimse cevap vermedi karar sınırının doğrusallığına veya doğrusallığına bağlı olmamasına, X'in giriş olduğu ve Theta'nın problemimizin değişkenleri olduğu Htheta (X) olarak tanımlanan Hipotez fonksiyonuna bağlıdır. Sizin için anlamlı mı?

— brokensword

Yanıtlar:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— Stefan Wager
kaynak

x

$x$

θ

$\theta$

sonra da açıklamanla. Sinir ağının öngörülmesinin son gizli katman aktivasyonlarının doğrusal bir işlevi olduğunu söyleyebilir miyiz?

— Jack Twain

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@ Pegah bunun eski olduğunu biliyorum, ancak: Lojistik regresyonun doğrusal bir karar sınırı var. Çıktının kendisi elbette doğrusal değil, lojistiktir. Bir noktanın hangi tarafına düştüğüne bağlı olarak, toplam çıktı sırasıyla 0 veya 1'e yaklaşır (ancak hiçbir zaman ulaşmaz). Ve Stefan Wagners'ın cevabını eklemek için: Son cümle tamamen doğru değil, bir sinir ağı, doğrusal olmayan aktivasyonlar veya çıkış fonksiyonları içerdiğinde doğrusal değildir. Fakat aynı zamanda doğrusal da olabilir (doğrusallık olmaması durumunda).

— Chris,

Stefan Wagner'in belirttiği gibi, bir lojistik sınıflandırıcı için karar sınırı doğrusaldır. (Sınıflandırıcının, girdilerin doğrusal olarak ayrılabilir olması gerekir.) Açık olmasa bile, bunun için matematiği genişletmek istedim.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

Biraz cebir, bunun değerine eşdeğer olduğunu gösterir.

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

ve her iki tarafın doğal kütüğünü alarak,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

bu yüzden karar sınırı doğrusaldır.

Bir sinir ağı için karar sınırının doğrusal olmamasının nedeni, sinir ağında iki sigmoid fonksiyon katmanının bulunmasıdır: çıkış düğümlerinin her birinde birer artı her bir çıkış düğümünün sonuçlarını birleştirmek ve eşiklemek için ilave bir sigmoid fonksiyonu.

— Phil Bogle
kaynak

Aslında, aktivasyonu olan sadece bir katmanla doğrusal olmayan bir karar sınırı elde edebilirsiniz. 2 katmanlı ileri besleme ağına sahip standart bir XOR örneğine bakın.

— James Hirschorn

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Her iki dağılımın da aynı aileye ait olduğunu ve aynı dağılım parametrelerine sahip olduğunu varsaydığımızı fark edin. Ancak, bu varsayım altında, lojistik regresyon bütün üstel dağılımlar ailesinin olasılıklarını modelleyebilir.

— jpmuc
kaynak