İki sınıflı sınıflandırıcı olarak LDA'ya göre lojistik regresyon

Kafamı Lineer diskriminant analizi ve Lojistik regresyon arasındaki istatistiksel farkın etrafına sarmaya çalışıyorum . Anladığım kadarıyla, bir iki sınıflandırma problemi için, LDA kesiştikleri yerde lineer bir sınır oluşturan iki normal yoğunluk fonksiyonunu (her bir sınıf için bir tane) tahmin eder, oysa lojistik regresyon sadece iki sınıf arasındaki tek günlük fonksiyonu öngörür; bir sınır yaratır, ancak her sınıf için yoğunluk işlevi görmez?

Bana doğru söylüyorsun. Gerçekten de lojistik regresyon, yordayıcı değişkenleri alanındaki herhangi bir belirgin yoğunluk şeklini varsaymaz, ancak LDA yapar. Kısaca, iki analiz arasındaki bazı farklar.

İkili Lojistik regresyon (BLR) ve Lineer Diskriminant analizi (2 grupla: Fisher LDA olarak da bilinir):

• BLR : Maksimum olabilirlik tahminine göre. LDA : En küçük kareler kestirimi; İkili tahminli doğrusal regresyona eşdeğerdir (katsayılar orantılıdır ve R-karesi = 1-Wilk'in lambdasıdır).

• BLR : Olasılığı tahmin eder (grup üyeliğinin) hemen (tahminin kendisi olasılık olarak gözlenir, gözlemlenir) ve şartlı olarak. LDA : Hem koşullu hem de marjinal bilgiyi kullanan sınıflandırma cihazı (saf Bayes gibi) aracılığıyla aracılık olasılığını tahmin eder (tahmin değeri binned sürekli değişken, diskriminant).

• BLR : Ölçek düzeyine ve yordayıcılardaki dağılımın biçimine o kadar uygun değil. LDA : Çok değişkenli normal dağılım ile istenen aralık seviyesini tahmin eder.

• BLR : Tahmin edicilerin grup içi kovaryans matrisleri hakkında herhangi bir gereksinim yoktur. LDA : Grup içi kovaryans matrisleri popülasyonda aynı olmalıdır.

• $n$$n$

• BLR : Aykırı değerlere karşı çok hassas değil. LDA : Aykırı değerlere karşı oldukça hassastır.

• BLR : Genç yöntem. LDA : Daha eski yöntem.

• BLR : Genellikle tercih edilir, çünkü daha az yorucu / daha sağlamdır. LDA : Tüm gereklilikleri yerine getirdiğinde, genellikle BLR'den daha iyi sınıflandırır (daha sonra asimptotik göreceli verimlilik 3/2 kat daha fazla).

@Ttnphns nice listesine bazı noktalar ekleyeyim:

• LDA'nın arka sınıf üyelik olasılığının Bayes tahmini, lojistik bir eğriyi de takip ediyor.
  [Efron, B. Normal regriminant analizine göre lojistik regresyonun etkinliği, J Am Stat Assoc, 70, 892-898 (1975).]

• Bu makale, LDA'nın varsayımlarının karşılanması durumunda LDA'nın göreceli verimliliğinin LR'den daha üstün olduğunu gösterse de, uygulamadaki İstatistiksel Öğrenme Öğelerine göre, uygulamada hemen hemen hiçbir fark yoktur.
  [Hastie, T. ve Tibshirani, R. ve Friedman, J. İstatistiksel Öğrenmenin Öğeleri; Veri madenciliği, Çıkarım ve Öngörü Springer Verlag, New York, 2009]

• LDA'nın göreceli olarak artmış göreceli verimliliğinin artması, mutlak hatanın zaten zaten göz ardı edilebildiği asemptotik durumlarda ortaya çıkar.
  [Harrell, FE & Lee, KL Çok değişkenli normallik altında ayırt edici analiz ve lojistik regresyon ayrımcılığının karşılaştırılması, Biyoistatistik: Biyomedikal, Halk Sağlığı ve Çevre Bilimleri İstatistikleri, 333-343 (1985).]

• Uygulamada LDA'nın üstün göründüğü yüksek boyutlu küçük örneklem büyüklüğü durumlarıyla karşılaşmış olmama rağmen (hem çok değişkenli normalliğe hem de eşit kovaryans matris varsayımlarının gözle görülür şekilde karşılanmamasına rağmen).
  [ Beleites, C.; Geiger, K .; Kirsch, M .; Sobottka, SB; Schackert, G. & Salzer, R. Raman, astrositoma dokularının spektroskopik derecelendirmesini: yumuşak referans bilgileri kullanarak., Anal Bioanal Chem, 400, 2801-2816 (2011). DOI: 10.1007 / s00216-011-4985-4 ]

• Ancak, makalemizde LR'nin muhtemelen (yakın) mükemmel ayrılmaya ilişkin yönelimlerin bulunabileceği sorunuyla mücadele ettiğini unutmayın. Öte yandan LDA, daha az ciddi şekilde daha fazla donanıma sahip olabilir.

• LDA'nın ünlü varsayımlarına yalnızca iyimserliği kanıtlamak için ihtiyaç duyulmaktadır. Eğer karşılanmazlarsa, prosedür hala iyi bir sezgisel olabilir.

• Uygulamada benim için önemli olan bir fark, çünkü üzerinde çalıştığım sınıflandırma problemleri bazen / sık sık ortaya çıkıyor, aslında açıkça sınıflandırma problemleri olmadı: LR, referansın orta sınıf üyeliği seviyelerine sahip olduğu verilerle kolayca yapılabilir. Sonuçta, bu bir regresyon tekniğidir.
  [yukarıda bağlantılı kağıda bakın]

• LR'nin sınıf sınırına yakın örneklere LDA'dan daha fazla yoğunlaştığını ve dağılımların “arka tarafındaki” vakaları temelden aldırdığını söyleyebilirsiniz.

• Bu ayrıca neden LDA'ya göre aykırı değerlere (yani arka taraftakilere) daha az duyarlı olduğunu da açıklar.

• (destek vektör makineleri, bu yöne en sonuna kadar giden bir sınıflandırıcı olacaktır: burada her şey dışında ancak sınırdaki durumlar dikkate alınmaz)