Neden t-SNE kümeleme veya sınıflandırma için bir boyutluluk azaltma tekniği olarak kullanılmıyor?

Yakın zamanda yapılan bir atamada, boyutları 64'ten (8 x 8 görüntüler) 2'ye düşürmek için MNIST rakamlarında PCA kullanmamız söylendi. Daha sonra rakamları bir Gauss Karışım Modeli kullanarak kümelemek zorunda kaldık. Yalnızca 2 ana bileşen kullanan PCA, farklı kümeler vermez ve sonuç olarak, model yararlı gruplar oluşturamaz.

Bununla birlikte, 2 bileşenli t-SNE kullanılarak kümeler çok daha iyi ayrılır. Gauss Karışım Modeli, t-SNE bileşenlerine uygulandığında daha belirgin kümeler üretir.

2 bileşenli PCA ve 2 bileşenli t-SNE'deki fark, dönüşümlerin MNIST veri setine uygulandığı aşağıdaki görüntü çiftlerinde görülebilir.

T-SNE'nin yalnızca bu cevapta olduğu gibi yüksek boyutlu verilerin görselleştirilmesi için kullanıldığını , ancak ürettiği farklı kümeler göz önüne alındığında, neden daha sonra sınıflandırma modelleri için kullanılan bir boyutluluk azaltma tekniği olarak kullanılmadığını veya bağımsız bir kümeleme yöntemi?

$t$$t$

$t$$t$

$t$$t$11Başlamak için de sınıflandırma kullanmış olabiliriz (bu bizi otomatik kodlayıcıların kullanımına geri getirir).

t-SNE mesafeleri korumaz, fakat temelde olasılık dağılımlarını tahmin eder. Teoride, t-SNE algoritmaları girişi 2 veya 3 boyutlu bir harita alanına eşler. Giriş alanının bir Gauss dağılımı ve harita alanının bir t dağılımı olduğu varsayılmaktadır. Kullanılan kayıp fonksiyonu, gradyan inişi kullanılarak en aza indirgenmiş iki dağıtım arasındaki KL Sapmadır.

T-SNE'nin ortak yazarı Laurens van der Maaten'a göre

t-SNE mesafeleri değil olasılıkları korumaz, bu nedenle yüksek D ve düşük D'deki Öklid mesafeleri arasındaki bir hatayı ölçmek işe yaramaz.

Referans:

https://lvdmaaten.github.io/tsne/

https://www.oreilly.com/learning/an-illustrated-introduction-to-the-t-sne-algorithm

Genel bir ifade olarak: Yeterince güçlü (/ uygun) bir sınıflandırıcı verildiğinde veya kümelenirse, herhangi biri herhangi bir boyutsallık azaltması uygulayamaz .

Boyutsallık azalması bilgiyi kaybeder.

Böyle bir küme veya sınıflandırıcı (esp sınıflandırıcılar, daha az kümeler) olduğundan, içten bir yansıtma biçimini zaten anlamlı bir alana yönlendirir. Ve Boyutluluk azaltma da (umutlu) anlamlı bir alana yansıtmadır.

Ancak, boyutluluk azaltmanın bunu bilgisiz bir şekilde yapması gerekir - hangi görevi azalttığınızı bilmiyor. Bu, özellikle doğrudan denetlenen bilgilerin bulunduğu sınıflandırma için geçerlidir. Ancak, kümelenme için yansıtılacak alanın sadece "daha az boyutlara sahip olmaktan" daha iyi tanımlandığı (bu algoritma için) daha iyi tanımlandığı bir kümelenme için de geçerlidir. Küçülteceğiniz görev - hangi boyutluluk azaltma algoritmasını kullanacağınız konusunda onu bilgilendirirsiniz.

Sık sık, kümeleme / sınıflandırma öncesi ön işleme olarak bir boyutluluk azaltma adımı eklemek yerine, yararlı bir projeksiyonda yanlış çalışan farklı bir sınıflandırıcı / kümelenme kullanmak daha iyidir.

Boyutsallığın azaltılmasının bir şey buna rağmen, bunun (umarım) anlamlı alana yansımasını yaratmada denetimsiz doğasıdır. Çok az etiket veriniz varsa kullanışlıdır. Ancak, sınıflandırıcınıza (örneğin sinir ağları için, otomatik kodlayıcı kullanarak, örneğin derin inanç ağı ön eğitimi), yakından çalışacak başka yöntemler de vardır, çünkü bunlar daha iyi çalışacaklardır, çünkü bu son görev düşünülerek tasarlandılar. Boyutsallığın azaltılmasının daha genel bir görevi değil.