Doğrusal regresyon ve lojistik regresyon arasındaki fark nedir?

122

Her birini ne zaman kullanırsın?

regression logistic linear-model

— B Yedi
kaynak

Doğrusal regresyon modelinde, bağımlı değişken sürekli kabul edilirken, lojistik regresyonda kategorik, yani ayrıktır. Uygulamada, önceki regresyon ayarlarında kullanılırken, ikincisi ikili sınıflandırma veya çok sınıflı sınıflandırma için kullanılır (burada multinom lojistik lojistik regresyon).

y

$y$

— Pardis

Farklı bir bağlamda yazılsa da, cevabımı burada okumanıza yardımcı olabilir: Logit ve probit modeller arasındaki fark , lojistik regresyonda neler olup bittiğini daha iyi anlamanıza yardımcı olacak birçok bilgi içeren logit ve probit modeller arasındaki fark .

— gung

Önceki tüm cevaplar doğrudur, ancak sonucunuz bir ikilik olsa bile doğrusal bir regresyon modelini tercih etmeniz için nedenler vardır. Bu sebepler hakkında buraya yazı yazdım: statistichorizons.com/linear-vs-logistic

— Paul von Hippel

Yanıtlar:

111

Doğrusal regresyon, genel denklemini kullanır; burada , sürekli bir bağımlı değişkendir ve bağımsız değişkenler , genellikle süreklidir (ancak aynı zamanda, örneğin doğrusal model bir test) veya diğer ayrık alanlar. , model tarafından açıklanmayan ve genellikle "hata" olarak adlandırılan varyans için kullanılan bir terimdir. ile gösterilen bireysel bağımlı değerler , denklemi biraz değiştirerek çözülebilir: $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$ $X_i$ $\epsilon$ $Y_j$ $Y_j=b_0 + \sum{(b_i X_{ij})+\epsilon_j}$

Lojistik regresyon, aynı temel formülü kullanan başka bir genelleştirilmiş doğrusal model (GLM) prosedürüdür, ancak sürekli yerine, kategorik bir sonucun olasılığı için gerilemektedir. En basit haliyle, bu sadece bir sonuç değişkeni ve bu değişkenin iki durumunu - 0 veya 1 olarak düşündüğümüz anlamına gelir. $Y$

olasılığı için denklem şöyle görünür: $Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

Bağımsız değişkenleriniz sürekli veya ikili olabilir. regresyon katsayıları , size başına değişiklik olasılığını verecek şekilde , yani, ve . , oran oranı, . İngilizce'de, , birim başına faktörü ile değiştiğini . $X_i$ $b_i$ $Y$ $X_i$ $Odds={P(Y=1) \over P(Y=0)}={P(Y=1) \over 1-P(Y=1)}$ ${\Delta Odds}= e^{b_i}$ $\Delta Odds$ $Odds(X_i+1)\over Odds(X_i)$ $Y=1$ $e^{b_i}$ $X_i$

Örnek: Vücut kitle indeksinin kan kolesterolünü (sürekli bir ölçü) nasıl öngördüğünü görmek istiyorsanız, cevabımın en üstünde anlatıldığı gibi doğrusal regresyon kullanırsınız. BMI'nin diyabetik olma ihtimalini (ikili tanı) nasıl tahmin ettiğini görmek istiyorsanız, lojistik regresyon kullanırsınız.

— DocBuckets
kaynak

Bu güzel bir cevap gibi görünüyor, ama ne açıklayabilir için ve stand - özellikle - Eklemeniz neden olan toplamları? (Neyse, ne

ϵ_{i}

$\epsilon_i$

— toplanıyor

Bana öyle görünüyor ki Bill, ei yerine yani (Latince kısaltması) yazmak istiyordu

— Michael Chernick

Ancak üslerin toplamındaki εi orada olmamalıdır. Modeldeki gürültü terimi yanlışlıkla oraya taşınmış gibi görünüyor. Tek toplama, p değişkenler için p katsayılarını temsil eden bis'in üzerinde olmalıdır.

— Michael Chernick

İfadenizde hatası var . Eğer olmalıdır olmayan Lojistik bir regresyon modelindeki rastgelelik, bunların bernoulli denemeleri olmasından kaynaklanır, başarı olasılıklarında hata olmasından kaynaklanmamıştır. sen yazdın).

P (Y = 1)

$P(Y=1)$

P (Y = 1) = \frac{1}{1 + \exp {- X β}},

$P(Y=1) = \frac{1}{1 + \exp \{-X \boldsymbol{\beta} \} },$

P (Y = 1) = \frac{1}{1 + \exp {- (X β + ε)}}

$P(Y=1) = \frac{1}{1 + \exp \{ -(X \boldsymbol{\beta}+\varepsilon) \} }$

— Makro

@ samthebrand lojistik regresyonun kendisi ikili değildir. 0 ile 1 arasında değişen olasılıklar aracılığıyla ikili yanıtlı verileri modellemek için kullanılabilir. Kargaşanlığınızı gidermek için blog yazımı utanmadan takmaya başladım .

— Ben,

Lineer Regresyon , bağımlı değişkenlerden bağımsız değişken değişiminde ortaya çıkan bağımlı değişkeni tahmin etmede faydalı olan Bağımlı ve Bağımsız değişkenler arasında ilişki kurmak için kullanılır. Örneğin:

Bir Lineer Regresyon kullanarak, Yağmur (R) ve Şemsiye Satışları (U) arasındaki ilişki - U = 2R + 5000 olarak bulundu.

Bu denklem her 1 mm Yağmur için 5002 şemsiyeye talep olduğunu söylüyor. Böylece, Basit Regresyon kullanarak değişkeninizin değerini tahmin edebilirsiniz.

Öte yandan Lojistik Regresyon , bir olayın olasılığını belirlemek için kullanılır. Ve bu olay ikili formatta, yani 0 veya 1 olarak yakalanır.

Örnek - Bir müşterinin ürünümü satın alıp almayacağına karar vermek istiyorum. Bunun için, (ilgili) veriler üzerinde bir Lojistik Regresyon çalıştırırdım ve bağımlı değişkenim bir ikili değişken olur (1 = Evet; 0 = Hayır).

Grafiksel gösterim açısından, Doğrusal Regresyon, değerler grafik üzerine çizildiğinde, çıktı olarak doğrusal bir çizgi verir. Oysa, lojistik regresyon S şeklinde bir çizgi verir

Mohit Khurana'dan referans.

— Vijay Ram
kaynak

Re: "Lineer Regresyon Bağımlı ve Bağımsız Değişkenler arasında bir ilişki kurmak için kullanılır" - bu aynı zamanda lojistik regresyon için de geçerlidir - sadece bağımlı değişken ikilidir.

— Makro

Lojistik Regresyon sadece ikili bir olayı tahmin etmek için değildir ( sınıf). sınıflarına genelleştirilebilir (çok terimli lojistik regresyon)

2

$2$

k

$k$

— tgy

Farklılıklar DocBuckets ve Pardis tarafından çözüldü, ancak performanslarından bahsetmeyen performanslarını karşılaştırmak için bir yol eklemek istiyorum.

Doğrusal regresyon, genellikle modelin verilere en küçük kareler hatasını minimize ederek çözülür, bu nedenle büyük hatalar kuadrik olarak cezalandırılır. Lojistik gerileme tam tersidir. Lojistik kayıp fonksiyonunun kullanılması büyük hataların asimptotik bir sabite cezalandırılmasına neden olur.

Bunun neden bir sorun olduğunu anlamak için kategorik {0,1} sonuçlarda doğrusal regresyon düşünün. Modeliniz, sonuç 1 olduğunda, sonuç 1 olduğunda, hiçbir şey kaybetmediniz. Lineer regresyon, bu 38'i azaltmaya çalışacak, lojistik olmaz (bunun kadar).

— J. Abrahamson
kaynak

WRE sonra, durumlar / olgular vardır biz fakir bir uyum olurdu yani hangi durumlarda bir lojistik size cezalandırılmış?

— MSIS

Tam tersi: ne zaman uyumdan daha büyük sapmalar gerçekten daha kötü sonuçlar doğurursa. Örneğin, lojistik regresyon sizi bir dart tahtasına vurmakta tutmada iyidir, ancak bir boğa gözünün hoş görünmesini sağlayamaz. Ya da benzer şekilde, tahtanın yakındaki bir özlediminin komşunuzu yapıştırmakla aynı olduğunu düşünüyor.

— J. Abrahamson

Mükemmel cevap. Modelin performansını ne kadar düşürdüğü konusunda herhangi bir araştırma yapıldı mı? Demek istediğim, lojistik bir regresyon yerine yanıtı = {0,1} tahmin etmek için doğrusal bir regresyon kullanılmışsa.

— Tagar