MDS'ye karşı t-SNE

Son zamanlarda t-SNE ( t-Dağıtılmış Stokastik Komşu Yerleşimi ) ile ilgili bazı soruları okudum ve ayrıca MDS ( Çok Boyutlu Ölçeklendirme ) ile ilgili bazı soruları da ziyaret ettim .

Genellikle benzer şekilde kullanılırlar, bu yüzden burada her ikisinde de (veya PCA ile karşılaştırıldığında ) birçok soru olduğunu görünce bu soruyu yapmak iyi bir fikir gibi görünüyordu .

Kısacası t-SNE ve MDS'yi farklı kılan nedir? Örneğin. Ne tür veri hiyerarşisini araştırıyorlar, farklı varsayımlar vs.

Yakınsama oranı? Peki ya çekirdek kullanımı, ikisine de uyuyor mu?

PCA, N veri noktalarının özdeğerlendirilmesi yoluyla etkili boyutlar seçerken, MDS çift ​​mesafeli bir matrisin veri noktalarının özanaliziyle etkili boyutlar seçer . Bu, dağılımdaki tek biçimlilikteki sapmaların vurgulanması etkisine sahiptir. Uzaklık matrisini bir gerilme tensörüne benzer olarak göz önüne aldığımızda, MDS, yürütme karmaşıklığı olan olan "kuvvet yönelimli" bir düzen algoritması olarak kabul edilebilir . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

Diğer taraftan, t-SNE, biraz farklı bir kuvvet yönelimli düzenini gerçekleştirmek için, genellikle Barnes-Hut aracılığıyla bir gradyan temelli karmaşıklığı düşüren) alan yaklaşımını kullanır. , ancak yakınsaklık özellikleri, bu yinelemeli stokastik yaklaşım yöntemi için (benim bildiğim kadarıyla) daha az anlaşılmıştır ve için genellikle gözlenen tipik çalışma zamanları diğer boyut küçültme yöntemlerinden daha uzun. Sonuçlar genellikle saf eigenanalysis'den daha görsel olarak yorumlanabilir ve dağılıma bağlı olarak, genellikle T-SNE tarafından tutulan yerel yapı pahasına küresel yapıyı koruma eğiliminde olan MDS sonuçlarından daha sezgiseldir.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS halihazırda çekirdek PCA'nın basitleştirilmesidir ve alternatif çekirdeklerle genişletilebilir olması gerekirken, çekirdek t-SNE, Gilbrecht, Hammer, Schulz, Mokbel, Lueks ve ark. Ben pratikte aşina değilim, ama belki başka bir katılımcı olabilir.

İçeriksel hedefler temelinde MDS ve t-SNE arasında seçim yapma eğilimindeyim. Hangisi vurgulamak istediğim yapıyı açıklarsa, hangisi daha büyük açıklayıcı güce sahipse, kullandığım algoritma budur. Araştırmacı serbestlik derecesi olduğu için bu bir tuzak olarak kabul edilebilir. Ancak akıllıca kullanılan özgürlük o kadar kötü bir şey değildir.