Sınıflandırmada ne zaman LDA yerine PCA kullanırsınız?

İlke Bileşen Analizi ve Çoklu Diskriminant Analizi (Doğrusal Diskriminant Analizi) arasındaki fark üzerine bu makaleyi okuyorum ve neden MDA / LDA yerine PCA kullanacağınızı anlamaya çalışıyorum.

Açıklama aşağıdaki gibi özetlenmiştir:

kabaca PCA'da verinin en fazla yayıldığı maksimum varyanslı eksenleri bulmaya çalışıyoruz (bir sınıf içinde, PCA tüm veri setini bir sınıf olarak ele aldığından) ve MDA'da ayrıca sınıflar arasındaki yayılımı en üst düzeye çıkarıyoruz.

Her zaman hem varyansı en üst düzeye çıkarmak hem de sınıflar arasındaki yayılımı en üst düzeye çıkarmak istemez misiniz?

Daha derin bir şey eksik: PCA bir sınıflandırma yöntemi değildir.

Makine öğreniminde PCA bir özellik mühendisliği yöntemi olarak ele alınır. PCA'yı verilerinize uyguladığınızda, ortaya çıkan özellikler arasında bir ilişki olmayacağını garanti edersiniz. Birçok sınıflandırma algoritması bundan yararlanır.

Her zaman aklınızda bulundurmanız gerekir ki algoritmalar veriler üzerinde varsayımlara sahip olabilir ve bu varsayımlar geçerli değilse düşük performans gösterebilir.

LDA, verileri yansıtmak için bir kovaryans matris inversiyonu hesaplamalıdır (bu konuları ve cevapları kontrol edin: Sınıflandırmadan önce PCA yapılmalı mı ? Ve PCA ve LDA'yı birleştirmek mantıklı mı? ). Çok az veriniz varsa, bu kararsızdır ve veri noktalarınıza (örneğin, sınıf içi tek bir kovaryans matrisi) yönelik fazladan projeksiyonlar elde edersiniz. PCA genellikle bundan kaçınmak için kullanılır ve sorunun boyutsallığını azaltır.

Bu yüzden cevap, sınıflandırma yapmak için asla PCA kullanmamanızdır, ancak LDA'nın performansını arttırmak için kullanabilirsiniz.

Firebug'un previos cevabı doğru olsa da, başka bir bakış açısı eklemek istiyorum:

Gözetimsiz ve denetimli öğrenme:

LDA, kümeyi ayırmayı amaçlayan boyutları bulmak için çok yararlıdır, bu nedenle daha önce kümeleri bilmeniz gerekir. LDA zorunlu olarak bir sınıflandırıcı değildir, ancak bir sınıflandırıcı olarak kullanılabilir. Böylece LDA sadece denetimli öğrenmede kullanılabilir

PCA, kınama ve boyutsal küçültme için genel bir yaklaşımdır ve denetimli öğrenmede sınıf etiketleri gibi daha fazla bilgi gerektirmez. Bu nedenle denetimsiz öğrenmede kullanılabilir.

LDA çok boyutlu alanı oymak için kullanılır.

PCA çok boyutlu alanı daraltmak için kullanılır.

Örneğin: 3B nesneler 2B gölgeler oluşturur. PCA genellikle önemli bilgilerin% 70 -% 90'ını korurken yüzlerce uzamsal boyutu bir avuç alt mekansal boyuta daraltmamızı sağlar.

Elinizin boyutunu ve şeklini gölgesinden nasıl görebildiğimi. Elinizin şekli hakkında her şeyi söyleyemem. Ancak aa bilinen en iyi açılardan 3 veya 4 gölge koleksiyonu ile. O zaman size elin büyüklüğü ve şekli hakkında birçok şey söyleyebilirim.