T-SNE'nin sınıfları iyi ayırdığını gördükten sonra hangi sınıflandırma algoritması kullanılmalıdır?

Bir sınıflandırma problemimiz olduğunu varsayalım ve ilk önce verilerden bir fikir edinmek istiyoruz ve t-SNE yapıyoruz. T-SNE'nin sonucu sınıfları çok iyi ayırır. Bu, sınıfları da çok iyi ayıracak sınıflandırma modeli oluşturmanın mümkün olduğu anlamına gelir (t-SNE iyi ayrılmazsa, çok fazla ima etmez).

T-SNE'nin yerel yapıya odaklandığını ve sınıfları iyi ayırabildiğini bilmek: Bu sorun üzerinde iyi çalışması gereken sınıflandırma algoritmaları nelerdir? Scikit bir Gauss RBF çekirdeği ile SVM'yi önerir, ama diğerleri nelerdir?

Önce kısa bir cevap, sonra daha uzun bir yorum:

Cevap

SNE teknikleri, hem orijinal veri boşluğunda hem de düşük boyutlu gömme boşluğunda bir N × N benzerlik matrisini, benzerliklerin nesne çiftleri üzerinde bir olasılık dağılımı oluşturacak şekilde hesaplar. Spesifik olarak, olasılıklar genellikle giriş verilerinden veya gömme işleminden hesaplanan normalleştirilmiş bir Gauss çekirdeği tarafından verilir. Sınıflandırma açısından, bu durum derhal örnek tabanlı öğrenme yöntemlerini akla getirir . Bunlardan birini listelediniz: RBF'li SVM'ler ve @amoeba kNN'yi listeledi. Ayrıca uzman olmadığım radyal temelli işlev ağları da var.

Yorum Yap

Bunu söyledikten sonra, sadece t-SNE çizimlerine bakarak bir veri kümesinde çıkarımlar yapmak konusunda iki kat dikkatli olacağım. t-SNE mutlaka yerel yapıya odaklanmaz. Bununla birlikte, perplexityverilerinizin yerel ve küresel yönleri arasındaki dikkati nasıl dengeleyeceğinizi (gevşekçe) düzenleyen parametreyi ayarlayarak bunu ayarlayabilirsiniz .

Bu bağlamda, perplexitykaranlıkta her bir gözlemin kaç tane komşuya sahip olabileceği ve kullanıcı tarafından sağlanan bir bıçaktır. Orijinal kağıt durumları: “T-SNE performansı şaşkınlıkla değişikliklere oldukça sağlam ve tipik değerler 5 ile 50 arasında olan” Ancak deneyimlerim, t-SNE'den en iyi şekilde yararlanmanın, farklı şaşkınlıklara sahip birden fazla parselin analiz edilmesi anlamına gelebileceğidir.

Bir başka deyişle, ayarlama içinde learning rateve perplexityeğitim adımlarının aynı sayıda 2-d araziler görünümlü ve aynı verileri kullanarak çok farklı elde etmek mümkündür.

Bu Distill belgesi t-SNE Nasıl Kullanılır Etkili t-SNE analizinin ortak tuzaklarının mükemmel bir özetini verir. Özet noktalar:

1. Bu hiperparametreler (örneğin öğrenme oranı, şaşkınlık) gerçekten önemli

2. T-SNE grafiğindeki küme boyutları hiçbir şey ifade etmiyor

3. Kümeler arasındaki mesafeler hiçbir şey ifade etmeyebilir

4. Rastgele gürültü her zaman rastgele görünmez.

5. Bazı şekilleri görebilirsiniz, bazen

6. Topoloji için birden fazla arsaya ihtiyacınız olabilir

Özellikle yukarıdaki 2, 3 ve 6. noktalardan, tek tek t-SNE grafiklerine bakarak verilerin ayrılabilirliği hakkında çıkarımlarda bulunmayı düşünürdüm. Doğru parametreleri kullanarak net kümeler gösteren grafikleri 'üretebileceğiniz' birçok durum vardır.