T-sne boyutları anlamlı mı?

T-sne gömme boyutları için bir anlam var mı? PCA'da olduğu gibi, doğrusal olarak dönüştürülmüş varyans maksimizasyonu hissine sahibiz, ancak t-sne için KL mesafesinin haritalanması ve en aza indirilmesi için tanımladığımız alanın yanı sıra sezgi var mı?

dimensionality-reduction tsne

— nitro
kaynak

Bunun gerçekten sorduğunuz şeylere ulaşıp ulaşmadığından emin değilim, ancak t-sne'nin boyutlarının gerçekten sadece verilerin ayrılabilirliğine bağlı olduğuna inanıyorum. Boyutlar aynı veri kümesine göre değişebilir, çünkü bu doğrusal olmayan bir dönüşümdür. Dolayısıyla, boyutlar yalnızca belirli bir örneğin bağlamında yorumlanabilir. Yanlış olduğumu bilmeme izin ver, bu ilginç bir soru.

— Hobbes

Belki de sadece ℝ3 eski sıkıcı?

— Nitro

Düşük boyutlu uzayın boyutlarının bir anlamı yoktur. T-SNE kaybı fonksiyonunun sadece noktalar ( ve ) arasındaki mesafelere ve bu mesafeler üzerindeki olasılık dağılımlarına ( ve ) dayandığını unutmayın : $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{i}} = 4 \sum_{j} (p_{i j} - q_{i j}) (y_{i} - y_{j}) (1 + | | y_{i} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Bu nedenle, tüm yüksek boyutlu alandan düşük boyutlu uzaya doğru bir çıkıntı yoktur, t-SNE yalnızca belirli bir yüksek boyutlu nokta kümesinden belirli bir düşük boyutlu nokta kümesine bir eşleme bulur. Bir uzaydan diğerine fonksiyon olmadığı için eksenlerin doğasında da bir anlamı yoktur.

Bunu açıklamak için hayal edebileceğiniz şeyler:

Yüksek boyutlu veya düşük boyutlu boşluğu döndürmek veya çevirmek noktalar arasındaki mesafeleri etkilemez. Bu nedenle, t-SNE her iki alanda da dönme veya çevirme umurunda değildir. Dolayısıyla eksenlerin mutlak yorumu yoktur.
T-Student dağıtımının yağlı kuyrukları vardır. Bu, düşük boyutlu gösterimin, yüksek boyutlu uzayda uzaktaki noktalardaki değişikliklere karşı değişmez olmasına neden olur. Bu aynı zamanda yüksek boyutlu uzayda çok uzak olan noktaların makul ölçüde uzağa, çok uzağa ya da düşük boyutlu uzayda gerçekten çok uzak olmasına neden olabilir. Bu anlamda düşük boyutlu eksenlerin belirli kısımlarını (herhangi bir keyfi yönde) uzatır.

Bununla birlikte, t-SNE öncelikle bir görselleştirme tekniğidir ve başka bir amaç için boyut azaltma etkinliği açık değildir (muhtemelen kümeleme, özellik çıkarma veya özellik seçimi için uygun değildir).

Ayrıca: kağıt .

— Pieter
kaynak