Denetimli boyut azalması

15K etiketli örneklerden (10 gruptan) oluşan bir veri setim var. Boyutların azaltılmasını etiketlerin bilgisini dikkate alan 2 boyuta uygulamak istiyorum.

PCA gibi "standart" denetimsiz boyutsallık azaltma tekniklerini kullandığımda, saçılma grafiğinin bilinen etiketlerle ilgisi yok gibi görünüyor.

Aradığım şeyin bir adı var mı? Bazı çözüm referanslarını okumak istiyorum.

Denetimli boyutsallığın azaltılmasında en standart doğrusal yönteme doğrusal ayırıcı analiz (LDA) denir . Sınıf ayrımını en üst düzeye çıkaran düşük boyutlu projeksiyon bulmak için tasarlanmıştır. Bununla ilgili birçok bilgiyi ayrımcı analiz etiketimiz altında ve örneğin serbestçe elde edilebilen İstatistiksel Öğrenmenin Unsurları gibi herhangi bir makine öğrenimi ders kitabında bulabilirsiniz .

İşte burada hızlı bir google arama ile bulduğum bir resim ; veri kümesinde iki sınıf bulunduğunda tek boyutlu PCA ve LDA projeksiyonlarını gösterir (benim tarafımdan eklenen kaynak):

Başka bir yaklaşıma kısmi en küçük kareler (PLS) denir . LDA, grup etiketlerini kodlayan kukla değişkenlerle en yüksek korelasyona sahip projeksiyonlar aramak olarak yorumlanabilir (bu anlamda LDA, özel bir kanonik korelasyon analizi, CCA örneği olarak görülebilir). Buna karşılık PLS, grup etiketleriyle en yüksek kovaryansa sahip projeksiyonları arar. LDA, iki grup için (yukarıdaki resimde olduğu gibi) sadece 1 eksen verirken, PLS azalan kovaryans tarafından sıralanan birçok ekseni bulacaktır. Veri kümesinde ikiden fazla grup olduğunda, PLS'nin biraz farklı sonuçlar üretecek farklı "tatları" olduğunu unutmayın.

Güncelleme (2018)

Bu cevabı genişletmek için zaman bulmalıyım; Bu konu popüler gibi görünüyor, ancak yukarıdaki orijinal cevabım çok kısa ve yeterince ayrıntılı değil.

$k$