Regresyon ve doğrusal diskriminant analizi (LDA) arasındaki ilişki nedir?

Regresyon ve lineer diskriminant analizi (LDA) arasında bir ilişki var mı? Benzerlikleri ve farklılıkları nelerdir? İki sınıf veya ikiden fazla sınıf olması herhangi bir fark yaratır mı?

Sorunun LDA ve doğrusal (lojistik değil) regresyonla ilgili olduğunu düşünüyorum.

Doğrusal regresyon ile doğrusal diskriminant analizi arasında kayda değer ve anlamlı bir ilişki vardır . Bağımlı değişkenin (DV) sadece 2 gruptan oluşması durumunda iki analiz aslında aynıdır. Bu hesaplamaların farklı olmasına ve sonuçlar - regresyon ve ayırıcı katsayılar - aynı olmasa da, bunlar birbirleriyle tam olarak orantılıdır .

Şimdi ikiden fazla grup durumu için. Öncelikle, eğer gruplama DV'yi bir kukla değişken kümesine dönüştürürseniz (bunlardan biri fazla bırakılmışsa) ve kanonik yaparsanız, LDA'nın (sınıflandırma aşaması değil) çıkarmasının kanonik korelasyon analizine eşdeğer (doğrusal olarak ilişkili sonuçlar) olduğunu söyleyelim. "IV'ler" ve "aptallar" kümelerinin analizi. Kanonik almanızı "IV enzimlerini" setinin tarafında dağılımı özellikleri vardır LDA "diskriminant fonksiyonları" ya da "ayırıcılar" dediği.

Peki kanonik analiz lineer regresyon ile nasıl ilişkilidir? Kanonik analiz özünde gizli bir yapıya derinleştirilmiş bir MANOVA ("Çok Değişkenli Çoklu Doğrusal Regresyon" veya "Çok Değişkenli Genel Doğrusal Model") anlamındadır.DV'ler ve IV'ler arasındaki ilişkilerin Bu iki varyasyon, ara ilişkilerde gizli "kanonik değişkenlere" ayrıştırılır. En basit örneği ele alalım, Y vs X1 X2 X3. İki taraf arasındaki korelasyonun maksimize edilmesi lineer regresyondur (eğer Y'yi Xs ile öngörüyorsanız) veya - aynı şey - MANOVA (eğer X’i Y ile tahmin ederseniz). Korelasyon tek boyutludur (büyüklüğü R ^ 2 = Pillai'nin iziyle) çünkü daha küçük küme, Y, sadece bir değişkenden oluşur. Şimdi bu iki seti alalım: Y1 Y2 - X1 x2 x3. Burada maksimize edilen korelasyon 2 boyutludur çünkü daha küçük set 2 değişken içerir. Korelasyonun ilk ve daha güçlü gizli boyutu, 1. kanonik korelasyon olarak adlandırılır ve kalan kısım, buna dik, 2. kanonik korelasyon olarak adlandırılır. Yani, MANOVA (veya lineer regresyon), kümelerin bütün 2 boyutlu korelasyonunda değişkenlerin kısmi rollerinin (katsayıları) ne olduğunu soruyor; kanonik analiz sadece 1. korelasyon boyutunda ve 2.'de değişkenlerin kısmi rollerinin ne olduğunu sormak için aşağıya iner.

Dolayısıyla, kanonik korelasyon analizi, DV'ler ve IV'ler arasındaki ilişkinin gizli yapısına derinleştirilmiş çok değişkenli doğrusal regresyondur. Diskriminant analizi, kanonik korelasyon analizi için özel bir durumdur ( tam olarak nasıl yapılır ). Yani, burada ikiden fazla gruptan oluşan genel bir durumda LDA'nın doğrusal regresyonla ilişkisine dair cevap buydu.

Cevabımın LDA'yı sınıflandırma tekniği olarak görmediğini unutmayın. LDA'yı yalnızca gizli kaynak çıkarma tekniği olarak tartışıyordum. Sınıflandırma, LDA'nın ikinci ve tek başına aşamasıdır ( burada açıkladım ). @Michael Chernick cevaplarında buna odaklanmıştı.

İşte Efron'un makalelerinden birine referans: 1975'teki Normal Ayrımcı Analizine Göre Lojistik Regresyonun Etkinliği .

İlgili bir diğer makale ise Ng & Jordan, 2001, On Discriminative vs Generative sınıflandırıcıları: Lojistik regresyon ve saf Bayes karşılaştırması . Ve işte, O'Neill'ın doktora tezi ile ilgili makalelerinde bahsettiği Xue ve Titterington , 2008 hakkındaki bir yorumunun özeti :

Üretken ve ayırt edici sınıflandırıcıların karşılaştırılması sürekli bir konudur. Bu konuya önemli bir katkı olarak, saf Bayes sınıflandırıcısı ve doğrusal lojistik regresyon arasındaki teorik ve ampirik karşılaştırmalarına dayanarak, Ng ve Jordan (NIPS 841 --- 848, 2001), üretici arasında iki farklı performans rejimi olduğunu iddia etti. ve eğitim seti büyüklüğüne göre ayrımcı sınıflandırıcılar. Bu yazıda, çalışmalarının bir tamamlayıcısı olarak deneysel ve simülasyon çalışmalarımız, iki farklı rejimin varlığının o kadar güvenilir olamayacağını öne sürüyor. Ek olarak, gerçek dünya veri setleri için, şu ana kadar bir gözlemin sınıflandırılmasında ayrımcı ve üretici yaklaşımlar arasında seçim yapmak için teorik olarak doğru, genel bir kriter yoktur.$x$ sınıfına$y$ ; seçim,$p(y|x)$ veya p ( x , y ) özelliklerinin doğruluğu konusunda sahip olduğumuz nispi güvene bağlıdır.$p(x, y)$ veri için. Bu, bir dereceye kadar Efron'un neden (J Am Stat Assoc 70 (352): 892 --- 898, 1975) ve O'Neill'in (J Am Stat Assoc 75 (369): 154 --- 160, 1980) bir kanıtı olabilir. ) model yanlış belirtimi olmadığında normal-temelli lineer diskriminant analizini (LDA) tercih eder, ancak diğer deneysel çalışmalar bunun yerine lineer lojistik regresyon tercih edebilir. Ayrıca, ortak bir köşegen kovaryans matrisi (LDA) veya naif Bayes sınıflandırıcısı varsayarak LDA'nın eşleştirilmesinin ve lineer lojistik regresyonun mükemmel olamayacağını ve bu nedenle LDA arasındaki karşılaştırmadan türetilen herhangi bir iddia için güvenilir olmayabileceğini öneriyoruz. veya saf Bayes sınıflandırıcı ve bütün üretici ve ayırt edici sınıflandırıcılara genellenecek doğrusal lojistik regresyon.

Bu konuda çevrimiçi bulabileceğiniz birçok referans var.

Bu cevabın amacı doğrusal diskriminant analizi (LDA) ve çok değişkenli doğrusal regresyon (MLR) arasındaki tam matematiksel ilişkiyi açıklamaktır. Doğru çerçevenin azalan rank gerilemesi (RRR) ile sağlandığı ortaya çıkacaktır .

LDA'nın , veri matrisindeki beyazlatılmış sınıf gösterge matrisinin RRR'sine eşdeğer olduğunu göstereceğiz .

---

Gösterim

Let olması , n x d veri noktaları matris ile x i sütun satır ve değişkenlere. Her nokta, k sınıflarından birine veya gruplara aittir . Nokta x i sınıf numarası ait gr ( i ) .$\newcommand{\X}{\mathbf X}\X$$n\times d$$\newcommand{\x}{\mathbf x}\x_i$$k$$\x_i$$g(i)$

Let olabilir , n x k gösterge aşağıdaki şekilde matrisi kodlaması grubu üyelik: G i j = 1 ise X i sınıf ait j ve G i j = 0 , aksi. Vardır , n j sınıfı veri noktaları j ; Tabii ait Σ n j = n .$\newcommand{\G}{\mathbf G}\G$$n \times k$$G_{ij}=1$$\x_i$$j$$G_{ij}=0$$n_j$$j$$\sum n_j = n$

Verilerin ortalandığını ve dolayısıyla genel ortalamanın sıfıra eşit olduğunu varsayıyoruz, . Μ j , j sınıfının ortalaması olsun .$\newcommand{\bmu}{\boldsymbol \mu}\bmu=0$$\bmu_j$$j$

LDA

Toplam dağılım matrisi aşağıdaki gibi tanımlanmıştır sınıf-ile içi saçılım matrisleri toplamı ayrılacak olabilir: Cı-$\newcommand{\C}{\mathbf C}\C=\X^\top \X$ Bir olduğunu doğrulayabilirCı=Cıb+Cw. LDA, maksimum grup arası varyansa ve projeksiyonun minimum grup içi varyansa sahip diskriminant eksenlerini arar. Spesifik olarak, ilk ayırma eksen birim vektörağırlıkmaksimizeağırlık⊤Cıbağırlık/(w⊤C a

$$\begin{align} \C_b &= \sum_j n_j \bmu_j \bmu_j^\top \\ \C_w &= \sum(\x_i - \bmu_{g(i)})(\x_i - \bmu_{g(i)})^\top. \end{align}$$ $\C = \C_b + \C_w$$\newcommand{\w}{\mathbf w}\w$ , ve birinci s bir matris halinde bir araya istiflenmiş diskriminant eksenleri W iz en üst düzeye çıkarmak gerekir L L D bir = tr ( B ⊤ Cı b W ( W ⊤ Cı w W ) - 1 )$\w^\top \C_b \w / (\w^\top \C_w \w)$$p$$\newcommand{\W}{\mathbf W}\W$ $$\DeclareMathOperator{\tr}{tr} L_\mathrm{LDA}=\tr\left(\W^\top \C_b \W (\W^\top \C_w \W)^{-1}\right).$$

Varsayılarak tam seviye olan, LDA çözeltisi B L D A özvektörleri matristir C - 1 ağırlık Cı b (azalan sıra ile öz-değerlerle sıralanmıştır).$\C_w$$\W_\mathrm{LDA}$$\C_w^{-1} \C_b$

Bu olağan bir hikayeydi. Şimdi iki önemli gözlem yapalım.

$b/w$$b/(b+w)$$\C^{-1} \C_b$

İkincisi, sınıflar arası dağılım matrisi, yukarıda tanımlanan grup üyeliği matrisi ile ifade edilebilir. Nitekim, = X$\G^\top \X$$n_j$$\G^\top \G$$(\G^\top \G)^{-1}\G^\top \X$$\C_b$

$$\C_b = \X^\top \G (\G^\top \G)^{-1}\G^\top \X.$$ $n_j$$m$$\X^\top \G \G^\top \X / m$

Normalleştirilmiş gösterge matrisi tanımlayabiliriz.$\newcommand{\tG}{\widetilde {\mathbf G}}\tG$ Gsahiptir1. Sonra, hem dengeli hem de dengesiz veri kümeleri için, ifade basitçeCb=X⊤ ˜ G ˜ $1/\sqrt{n_j}$$\G$$1$$\C_b = \X^\top \tG \tG^\top \X$$\tG$$\tG = \G(\G^\top \G)^{-1/2}$

gerileme

Basit olması için, dengeli bir veri kümesi ile başlayacağız.

X üzerinde doğrusal regresyonunu düşünün . Bu bulur B minimize ‖ G$\G$$\X$$\newcommand{\B}{\mathbf B}\B$$\| \G - \X \B\|^2$$\B$$p$$\B$$\newcommand{\D}{\mathbf D} \newcommand{\F}{\mathbf F} \B=\D\F^\top$$\D$$\F$$p$

$\D$$\W_\mathrm{LDA}$

$\D$$\F$$\F^\top = (\D^\top \X^\top \X \D)^{-1} \D^\top \X^\top \G$

$$\| \G - \X \D (\D^\top \X^\top \X \D)^{-1} \D^\top \X^\top \G\|^2,$$ $\|\mathbf A\|^2=\mathrm{tr}(\mathbf A \mathbf A^\top)$ $$\tr\left(\D^\top \X^\top \G \G^\top \X \D (\D^\top \X^\top \X \D)^{-1}\right),$$ $$\ldots = \tr\left(\D^\top \C_b \D (\D^\top \C \D)^{-1}\right)/m \sim L_\mathrm{LDA}.$$

$\G$$\tG$

Benzer şekilde, azaltılmış dereceli regresyona sırt düzenlenmesi eklemenin, düzenli LDA'ya eşdeğer olduğunu gösterebilir.

LDA, CCA ve RRR arasındaki ilişki

$\X$$\G$$\newcommand{\Y}{\mathbf Y}\Y$$\X$$\Y$$\X$

Kaynakça

Yukarıda sunulanların kredisini kimin hak ettiğini söylemek zor.

Cai ve ark. (2013) Düşük Sıralı Regresyonların Eşdeğeri ve Yukarıdaki ile tamamen aynı kanıtı sunan ancak bu yaklaşımı icat ettikleri izlenimini yaratan Doğrusal Ayrımcılık Analizi Temelli Regresyonlar Üzerine . Bu kesinlikle söz konusu değildir. Torre, ortak doğrusal çok değişkenli yöntemlerin çoğunun azalan rank regresyonu olarak nasıl görülebileceğinin ayrıntılı bir tedavisini yazdı, bkz . Bileşen Analizi için En Küçük Kareler Çerçevesi , 2009 ve daha sonra kitap bölümünde Bileşen analiz yöntemlerinin birleştirilmesi , 2013; aynı argümanı sunar ancak referans da vermez. Bu materyal aynı zamanda Modern Çok Değişkenli İstatistik Teknikleri ders kitabında da ele alınmıştır. (2008), 1975 yılında RRR'yi geri getiren İzenman tarafından.

LDA ve CCA arasındaki ilişki görünüşe göre Bart38, 1938, Çoklu regresyon teorisinin diğer yönleri - genellikle karşılaştığım referans (ancak doğrulamadı). CCA ve RRR arasındaki ilişki, Çok Değişkenli Doğrusal Model için İz75, 1975, Azaltılmış Sıralı Regresyon'da tanımlanmıştır . Yani tüm bu düşünceler bir süredir var.

Doğrusal regresyon ve doğrusal diskriminant analizi çok farklıdır. Doğrusal regresyon, bağımlı değişkenleri, bir dizi bağımsız tahmin değişkenleri ile ilişkilendirir. Fikir, verilere en uygun parametrelerde doğrusal bir işlev bulmaktır. Değişkenlerde doğrusal bile olması gerekmez. Öte yandan, doğrusal diskriminant analizi, nesneleri kategorilere ayırmak için bir prosedürdür. İki sınıf problem için, grupları iki kategoriye ayırmak için en iyi ayrıştırıcı hiper düzlemi bulmaya çalışır. Burada en iyisi, hata oranlarının doğrusal bir birleşimi olan bir kayıp işlevini en aza indirdiği anlamına gelir. Üç veya daha fazla grup için en iyi hiper düzlem kümesini bulur (k sınıfı problem için k-1). Diskriminant analizinde hipoer düzlemler özellik değişkenlerinde doğrusaldır.

İkisi arasındaki temel benzerlik, başlıklardaki lineer terimdir.