En yakın komşu t-SNE ile bir anlam ifade ediyor mu?

Buradaki cevaplar t-SNE'deki boyutların anlamsız olduğunu ve noktalar arasındaki mesafelerin benzerlik ölçüsü olmadığını belirtmiştir .

Ancak, t-SNE uzayındaki en yakın komşularına dayanan bir nokta hakkında bir şey söyleyebilir miyiz? Tam olarak aynı olan noktaların neden kümelenmediğine dair bu cevap , noktalar arasındaki mesafelerin oranının düşük ve yüksek boyutlu gösterimler arasında benzer olduğunu göstermektedir.

Örneğin, aşağıdaki resim veri kümelerimden birinde (15 sınıf) t-SNE'yi gösteriyor.

cro 479(Sağ üst) bir aykırı olduğunu söyleyebilir miyim ? Mı fra 1353(sol altta) daha benzer olan cir 375diğer resimlerden daha fravb sınıfına? Ya da bunlar sadece artefaktlar olabilir mi, örneğin fra 1353birkaç kümenin öbür tarafına takıldılar ve öteki frasınıfa girmeye zorlayamadılar mı?

Hayır, durumun böyle olması gerekli değildir, ancak bu, kıvrımlı bir şekilde T-SNE'nin amacıdır.

Cevabın etine girmeden önce, hem matematiksel hem de sezgisel olarak bazı temel tanımlara bakalım.

En Yakın Komşular : Bir metrik alan düşünün$\mathbb{R}^d$ ve bir dizi vektör $X_1, ..., X_n \in \mathbb{R}^d$, yeni bir vektör verildi $x \in \mathbb{R}^d$, noktaları bulmak istiyoruz ki $|| X_1 - x || \le ... \le ||X_n - x ||$. Sezgisel olarak, uygun bir norm tanımı kullanan mesafelerin minimumudur.$\mathbb{R}^d$.

Şimdi boyutsallık azaltımı uygularken en yakın komşuların gerçekten önemli olup olmadığına geliyor. Genellikle cevaplarımda bir şeyi matematik, kod ve sezgisel olarak rasyonelleştirmeyi amaçlıyorum. Önce şeylerin sezgisel yönünü ele alalım. Mesafe olan bir noktanız varsa$d$başka bir noktadan, t-sne algoritması konusundaki anlayışımızdan, daha yüksek boyutlara geçiş yaparken bu mesafenin korunduğunu biliyoruz. Bir nokta daha varsayalım$y$ en yakın komşusu $x$ bazı boyutlarda $d$. Tanım gereği,$d$ ve $d + k$. Yani, sezgimiz var ki, mesafe farklı boyutlarda korunur, ya da en azından amaçladığımız şey budur. Bazı matematikle haklı göstermeye çalışalım.

Bu cevapta, ayrıntılı olmasa da, t-sne'de yer alan matematik hakkında konuşuyorum ( t-SNE: Neden eşit veri değerleri görsel olarak yakın değil? ). Burada matematiğin temel olarak, noktaların dağılımının üstel olduğu varsayılarak, iki noktanın orijinal uzayda olduğu gibi, yansıtılan bir alanda yakın kalma olasılığını en üst düzeye çıkarmaktır. Yani, bu denkleme bakarak$p_{j | i} = \frac{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}{\sum_{k \neq i}{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}}$. Olasılığın iki nokta arasındaki mesafeye bağlı olduğuna dikkat edin, bu yüzden ne kadar uzak olursa, daha düşük boyutlara yansıtıldıkça o kadar uzaklaşırlar. Eğer birbirlerinden uzaklarsa$\mathbb{R}^k$, öngörülen boyutta yakın olmamaları için iyi bir şans var. Şimdi, noktaların neden "yakın" kalması gerektiğine dair matematiksel bir gerekçemiz var. Fakat yine de, bu üstel bir dağılım olduğu için, eğer bu noktalar önemli ölçüde birbirinden ayrıysa, En Yakın Komşular mülkünün korunduğuna dair bir garanti yoktur, ancak bu amaçtır.

Son olarak, bu konsepti de gösteren düzgün bir kodlama örneği.

from sklearn.manifold import TSNE
from sklearn.neighbors import KNeighborsClassifier
X = [[0],[1],[2],[3],[4],[5],[6],[7],[8],[9]]
y = [0,1,2,3,4,5,6,7,8,9]
neighs = KNeighborsClassifier(n_neighbors=3)
neighs.fit(X, y)
X_embedded = TSNE(n_components=1).fit_transform(X)
neighs_tsne = KNeighborsClassifier(n_neighbors=3)
neighs_tsne.fit(X_embedded, y)
print(neighs.predict([[1.1]]))
>>>[0]
print(neighs_tsne.predict([[1.1]]))
>>>[0]

Bu çok naif bir örnek olmasına ve karmaşıklığı yansıtmasa da, bazı basit örnekler için deney yoluyla çalışır.

DÜZENLEME: Ayrıca, sorunun kendisiyle ilgili bazı noktalar ekleyerek, durumun böyle olması gerekli değildir, ancak, matematik yoluyla rasyonalize etmek, somut bir sonucunuz olmadığını kanıtlar (kesin evet veya hayır) .

Umarım bu TSNE ile ilgili bazı endişelerinizi giderir.