Diskriminant analizinin üç versiyonu: farklılıklar ve nasıl kullanılacağı

Herhangi biri farklılıkları açıklayabilir ve bu üç analizin nasıl kullanılacağına özel örnekler verebilir mi?

• LDA - Doğrusal Ayrımcı Analizi
• FDA - Fisher'in Diskriminant Analizi
• QDA - Kuadratik Diskriminant Analizi

Her yeri aradım, ancak bu analizlerin nasıl kullanıldığını ve verilerin nasıl hesaplandığını görmek için gerçek değerlere sahip gerçek örnekler bulamadım, gerçek örnekler olmadan anlaşılması zor olan birçok formül var. Anlamaya çalıştığım gibi, hangi denklemlerin / formüllerin LDA'ya, hangisinin FDA'ya ait olduğunu ayırt etmek zordu.

Örneğin, böyle bir veri olduğunu varsayalım:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

Ve bazı test verileri diyelim:

x1 x2
2  4
3  5
3  6

Peki bu verileri bu üç yaklaşımla nasıl kullanmalı? Her şeyin elle nasıl hesaplanacağını görmek en iyisidir, sahnelerin arkasındaki her şeyi hesaplayan bir matematik paketi kullanmamaktır.

PS Yalnızca bu öğreticiyi buldum: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA . LDA'nın nasıl kullanılacağını gösterir.

"Fisher's Discriminant Analysis" 2 sınıf durumunda basitçe LDA . Sadece 2 sınıf olduğunda elle yapılan hesaplamalar yapılabilir ve analizler doğrudan Çoklu Regresyon ile ilgilidir. LDA, Fisher'ın herhangi bir sayıda sınıfın durumu hakkındaki fikrinin doğrudan uzantısıdır ve onu hesaplamak için matris cebir araçlarını (örneğin, eugende composition) kullanır. Bu nedenle, "Fisher's Discriminant Analysis" terimi, bugün modası geçmiş olarak görülebilir. Bunun yerine "Doğrusal Ayrımcı analizi" kullanılmalıdır. Ayrıca bakınız . 2 + sınıflarına (çok sınıf) ile Ayırma analizi olan kanonik kendi algoritmasıyla (standart değişkenlerin olarak ekstreler dicriminants); nadir "Terimsel Kanonik Analiz"

Fisher, daha sonra "Fisher sınıflandırma fonksiyonları" adı verilen ve diskriminant fonksiyonu hesaplandıktan sonra nesneleri sınıflandırmak için kullanılır. Günümüzde, LDA prosedüründe nesneleri sınıflandırmak için daha genel bir Bayes yaklaşımı kullanılmaktadır.

LDA açıklamaları için isteğinize Bunları benim cevaplar sizi gönderebilir: LDA içinde çıkarımı , LDA içinde sınıflandırma , LDA ilgili prosedürler arasında . Ayrıca bu , bu , bu sorular ve cevaplar.

ANOVA'nın eşit eşitlik varsayımı gerektirdiği gibi, LDA da sınıfların eşit değişkenlik-kovaryans matrislerinin varsayımını gerektirir (girdi değişkenleri arasında). Bu varsayım, analizin sınıflandırma aşaması için önemlidir. Eğer matrisler büyük ölçüde farklı ise, gözlemler değişkenliğin daha büyük olduğu sınıfa atanma eğiliminde olacaktır. Sorunun üstesinden gelmek için QDA icat edildi. QDA, sınıfların kovaryans matrislerinin yukarıdaki heterojenliğine izin veren LDA'nın bir modifikasyonudur.

Eğer heterojenliğe sahipseniz (örneğin Box's M testi ile tespit edildiği gibi) ve elinizde QDA'nız yoksa , sınıflandırmada ayrımcıların bireysel kovaryans matrislerini (havuzlanmış matris yerine) kullanma rejiminde yine de LDA kullanabilirsiniz. . Bu, QDA'da olduğundan daha az etkili olmamakla birlikte sorunu kısmen çözmektedir, çünkü - sadece işaret edildiği gibi - bunlar ayrımcılar arasındaki matrislerdir (orijinal matrislerin farklı olduğu).

Örnek verilerinizi kendiniz için analiz etmeme izin verin.

Yanıt zyxue cevabı @ ve yorumlar

LDA, tanımladığınız şey FDA'nın cevabında. LDA ilk önce ayırma ile aradaki arasındaki farkı maksimize eden lineer yapıları (ayrımcı denir) ayıklar ve sonra bunları (gauss) sınıflandırma yapmak için kullanır. (Söylediğiniz gibi) LDA, ayrımcıları çıkarma görevine bağlı olmasaydı, LDA sadece bir gauss sınıflandırıcısı gibi görünürse, hiçbir "LDA" adı gerekmeyecekti.

$S_w$$S_w$s aynıdır, bahsedilen sınıf içi kovaryansların hepsi aynıdır; onları kullanma hakkı mutlak olur.)

Gauss sınıflayıcısı (LDA'nın ikinci aşaması), ayrımcıların sınıflarına gözlemler atamak için Bayes kuralını kullanıyor. Aynı sonuç, doğrudan orijinal özellikleri kullanan Fisher doğrusal sınıflandırma fonksiyonları ile de yapılabilir. Bununla birlikte, Bayes'in ayrımcılara dayanan yaklaşımı, havuzlanmış olanı kullanmanın varsayılan yoluna ek olarak, ayrı sınıf ayrımcı kovaryans matrislerinin de kullanılmasına izin vermesi bakımından biraz geneldir. Ayrıca, sınıflandırmaların bir alt ayrımcı grubuna dayandırılmasına izin verecektir.

Yalnızca iki sınıf olduğunda, LDA'nın her iki aşaması da tek bir geçişte birlikte tanımlanabilir çünkü "gecikmelerin çıkarılması" ve "gözlemler sınıflandırması" aynı görevi yerine getirir.

@Dnphns'ın önerdiği gibi FDA'nın iki sınıf için LDA olduğunu kabul etmekte zorlanıyorum.

Profesör Ali Ghodsi'nin bu konuda iki bilgi verici ve güzel ders vermesini öneriyorum:

1. LDA ve QDA . Ayrıca , İstatistiki Öğrenmenin Öğeleri ( pdf ) adlı kitabın 108. sayfasında dersle tutarlı bir LDA tanımlaması bulunmaktadır.
2. FDA

Bana göre, LDA ve QDA, her ikisinin de Gauss varsayımlarına göre sınıflandırma teknikleri olması ile aynıdır. İkisi arasındaki büyük fark, LDA'nın her iki sınıfın özellik kovaryans matrislerinin aynı olduğunu varsaymasıdır, ki bu da doğrusal bir karar sınırı ile sonuçlanır. Buna karşılık, QDA daha az katıdır ve farklı sınıflar için farklı özellik kovaryans matrislerine izin verir, bu da kuadratik karar sınırına yol açar. İkinci dereceden karar sınırının nasıl göründüğü hakkında bir fikir edinmek için scikit-learning'den aşağıdaki resme bakın .

Alt noktalar hakkında bazı yorumlar :

• Üst satır: kovaryans matrisleri verilerde gerçekten aynı olduğunda, LDA ve QDA aynı karar sınırlarına yol açar.
• Alt satır: kovaryans matrisleri farklı olduğunda, LDA varsayımı geçersiz hale geldiğinde kötü performansa neden olurken, QDA sınıflandırma daha iyi performans gösterir.

Öte yandan, FDA, Gaussion'un varsayımıyla ilgisi olmayan, çok farklı bir türdür. FDA'nın yapmaya çalıştığı şey, sınıf içi farkı en aza indirirken sınıf içi ortalama mesafeyi en üst düzeye çıkarmak için doğrusal bir dönüşüm bulmaktır . 2. ders bu fikri güzelce açıklar. LDA / QDA'nın aksine, FDA sınıflandırma yapmaz, ancak FDA tarafından bulunan dönüşümden sonra elde edilen özellikler, örneğin LDA / QDA veya SVM veya diğerleri kullanılarak sınıflandırma için kullanılabilir.