Lojistik regresyon ve algılayıcılar arasındaki farklar

Anladığım kadarıyla, lojistik sigmoid aktivasyon fonksiyonuna sahip bir algılayıcı / tek katmanlı yapay sinir ağı, lojistik regresyon ile aynı modeldir. Her iki model de denklem tarafından verilir:

$F(x) = \frac{1}{1-e^{-\beta X}}$

Algılayıcı öğrenme algoritması çevrimiçi ve hataya dayalıdır, oysa lojistik regresyon parametreleri degrade iniş ve Sınırlı bellek BFGS dahil olmak üzere çeşitli toplu algoritmalar veya stokastik degrade iniş gibi çevrimiçi bir algoritma kullanılarak öğrenilebilir. Lojistik regresyon ve sigmoid bir algılayıcı arasında başka farklar var mı? Stokastik gradyan iniş ile eğitilmiş bir lojistik regresörün sonuçlarının algıya benzer olması beklenmelidir mi?

Zaten önemli farklılıklardan bahsettiniz. Dolayısıyla sonuçlar çok farklı olmamalıdır.

Eksik olduğun bir farkın, lojistik regresyonun ilkeli bir sınıflandırma olasılığı döndürdüğü, ancak algılayıcıların zor bir sınırla sınıflandırıldığı gerçeğine inanıyorum.

Bu, Multinomial lojistik regresyon hakkındaki Wiki makalesinde belirtilmiştir .

Aslında, bahsettiğiniz teknik farklılıklarla ilgili büyük bir önemli fark var. Lojistik regresyon, doğrusal bir denklem olarak Bernoulli dağılımı ortalamasının bir fonksiyonunu modeller (ortalama, Bernoulli olayının p olasılıkına eşittir ). Logit bağlantısını ortalamanın ( p ) bir fonksiyonu olarak kullanarak, oranların logaritması (log-odds) analitik olarak türetilebilir ve genelleştirilmiş doğrusal bir modelin cevabı olarak kullanılabilir. Bu GLM üzerindeki parametre tahmini, model parametreleri için p değerleri ve güven aralıkları veren istatistiksel bir işlemdir. Tahmin üzerine, bu modeli nedensel çıkarımda yorumlamanıza izin verir. Bu doğrusal bir Perceptron ile elde edemeyeceğiniz bir şeydir.

Algılayıcı lojistik regresyon bir ters mühendislik işlemdir: Bunun yerine y logit alma, bu ters logit (lojistik) işlevini alan wx ve modeli ne de parametre tahmini ne için olasılık varsayımlar kullanmaz. Çevrimiçi eğitim, model ağırlıkları / parametreleri için tam olarak aynı tahminleri verecektir, ancak p değerlerinin, güven aralıklarının ve temeldeki bir olasılık modelinin eksikliği nedeniyle bunları nedensel çıkarımda yorumlayamazsınız.

Uzun öykü kısa, lojistik regresyon, tahmin ve çıkarım gerçekleştirebilen bir GLM'dir, oysa lineer Perceptron sadece tahmin elde edebilir (bu durumda lojistik regresyon ile aynı şeyi gerçekleştirecektir). İkisi arasındaki fark, istatistiksel modelleme ve makine öğrenmesi arasındaki temel farktır.