T-SNE çıkışında kümeleme

Kümelerin içindeki alt grup etkilerini aramadan önce gürültülü bir veri kümesini kümelemenin kullanışlı olacağı bir uygulama buldum. İlk önce PCA'ya baktım, ancak değişkenliğin% 90'ını elde etmek ~ 30 bileşen alıyor, bu nedenle yalnızca birkaç PC'ye kümelemek çok fazla bilgiyi atıyor.

Daha sonra t-SNE'yi denedim (ilk defa), bu bana k-araçlarıyla kümelemeye çok uygun iki boyutta tuhaf bir şekil verir. Dahası, sonuç olarak küme atamasıyla veriler üzerinde rastgele bir orman çalıştırmak, kümelerin ham verileri oluşturan değişkenler açısından sorunun bağlamında verilen oldukça mantıklı bir yorumuna sahip olduğunu göstermektedir.

Ama eğer bu kümeler hakkında rapor vereceksem, onları nasıl tarif ederim? K-aracı temel bileşenler üzerindeki kümeler, veri kümesindeki varyansın% X'ini oluşturan türetilmiş değişkenler açısından birbirine yakın olan bireyleri ortaya koymaktadır. T-SNE kümeleri hakkında hangi eşdeğer ifadeler yapılabilir?

Belki de etkisine bir şey:

t-SNE, altında yatan yüksek boyutlu bir manifoldda yaklaşık bitişikliği gösterir, böylece yüksek boyutlu alanın düşük boyutlu gösterimi üzerindeki kümeler, bitişik bireylerin aynı kümede olmayacağı "olasılığını" en üst düzeye çıkarır

Bundan daha iyi bir bulanıklık öneren var mı?

T-SNE ile ilgili sorun, mesafeleri veya yoğunluğu korumamasıdır. Sadece bir dereceye kadar en yakın komşuları korur. Fark ince, ancak herhangi bir yoğunluk veya mesafe tabanlı algoritmayı etkiler.

Bu etkiyi görmek için, sadece çok değişkenli bir Gauss dağılımı oluşturun. Bunu görselleştirirseniz, çok uzaktaki bazı ayraçlarla birlikte, yoğun ve dışarıdan çok daha az yoğunlaşan bir topunuz olacaktır.

Şimdi bu veri üzerinde t-SNE'yi çalıştırın. Genellikle düzgün bir yoğunlukta bir daire elde edersiniz. Düşük bir şaşkınlık kullanırsanız, orada bazı garip desenleri bile olabilir. Ama artık aykırı şeyleri gerçekten anlatamazsın.

Şimdi işleri daha karmaşık hale getirelim. Normal dağılımda (-2,0) 250 puan, normal dağılımda (-2.0) 750 puan kullanalım.

Bunun EM gibi kolay bir veri kümesi olması gerekiyordu:

T-SNE'yi 40 varsayılan sapma ile çalıştırırsak, garip şekilli bir desen elde ederiz:

Fena değil, aynı zamanda kümelenmesi de o kadar kolay değil, değil mi? Burada tam olarak istediğiniz şekilde çalışan bir kümeleme algoritması bulmakta zorlanacaksınız. Ve insanlardan bu verileri kümelemesini isteseniz bile, büyük olasılıkla burada 2'den fazla küme bulacaklardır.

T-SNE'yi 20 gibi çok küçük bir şaşkınlıkla çalıştırırsak, var olmayan bu kalıplardan daha fazlasını elde ederiz:

Bu, örneğin DBSCAN ile kümelenecek, ancak dört küme verecek. Bu yüzden dikkatli olun, t-SNE "sahte" desenler üretebilir!

Optimum şaşkınlık bu veri seti için 80 civarında bir yer gibi gözüküyor; ancak bu parametrenin diğer tüm veri kümeleri için çalışması gerektiğini düşünmüyorum.

Şimdi bu görsel olarak hoş, ancak analiz için daha iyi değil . Bir insan noteri muhtemelen bir kesim seçip düzgün bir sonuç alabilir; k-aracı bu çok kolay senaryoda bile başarısız olur ! Yoğunluk bilgilerinin kaybolduğunu zaten görebiliyorsunuz , tüm veriler aynı yoğunlukta bir alanda yaşıyor gibi görünüyor. Bunun yerine şaşkınlığı daha da arttırırsak, bütünlük artar ve ayrılık tekrar düşer.

Sonuç olarak, görselleştirme için t-SNE kullanın (ve görsel olarak hoş bir şey elde etmek için farklı parametreler deneyin!), Ancak daha sonra özellikle kümelenmeyi çalıştırmayın , özellikle de bu bilginin kasıtlı olarak (!) Olduğu gibi mesafe veya yoğunluk tabanlı algoritmalar kullanmayın. kayıp. Mahalle grafiği temelli yaklaşımlar iyi olabilir, ancak önce t-SNE'yi önceden çalıştırmanız gerekmez, hemen komşuları kullanın (çünkü t-SNE bu nn grafiğini büyük ölçüde bozulmadan tutmaya çalışır).

Daha fazla örnek

Bu örnekler için hazırlanmıştır sunum (ama bulunamaz kağıt içinde daha sonra bu deneyi yaptığı gibi, henüz kağıt)

Erich Schubert ve Michael Gertz.
İçsel-Stokastik Komşu Görselleştirme ve Ölü Tespit Tespiti için Gömülü - Boyutluluk Lanetine Karşı Bir Çözüm?
In: 10. Uluslararası Benzerlik Arama ve Uygulamaları Konferansı (SISAP), Münih, Almanya. 2017

İlk önce, bu girdi verisine sahibiz:

Tahmin edebileceğiniz gibi, bu çocuklar için bir "renk beni" görüntüden türetilmiştir.

Bunu SNE'den geçirirsek ( t-SNE değil, önceki sürüm ):

Vay, balıklarımız oldukça deniz canavarı oldu! Çekirdek boyutu yerel olarak seçildiğinden, yoğunluk bilgilerinin çoğunu kaybederiz.

Ancak t-SNE'nin çıktısı sizi gerçekten şaşırtacak:

Aslında iki uygulamayı denedim (ELKI ve sklearn uygulamaları) ve ikisi de böyle bir sonuç üretti. Bağlantısız bazı parçalar, ancak her biri orijinal verilerle bir şekilde tutarlı görünüyor.

Bunu açıklamak için iki önemli nokta:

1. SGD yinelemeli bir iyileştirme prosedürüne dayanır ve yerel optimuma sıkışabilir. Bu, özellikle, algoritmanın, yansıtılmış olan verinin bir bölümünü "çevirmesini" zorlaştırır, çünkü bu, ayrı olması gereken başkaları arasında hareket eden noktaları gerektirir. Dolayısıyla, balığın bazı kısımları yansıtılmışsa ve diğer kısımları yansıtılmamışsa, bunu düzeltemeyebilir.

2. t-SNE, yansıtılan alandaki t-dağılımını kullanır. Düzenli SNE tarafından kullanılan Gauss dağılımının aksine, bu, çoğu noktanın birbirini iteceği anlamına gelir , çünkü bunlar giriş alanındaki 0 ​​yakınlığına sahiptir (Gaussian hızlı bir şekilde sıfır alır), ancak çıktı alanındaki> 0 yakınlığına sahiptir. Bazen (MNIST'te olduğu gibi) bu daha güzel görselleştirme yapar. Özellikle, bir veri kümesini girdi alanından biraz daha fazla "bölmeye" yardımcı olabilir . Bu ilave itme, çoğu zaman, noktaları istenen bir şekilde kullanmanın daha düzgün bir şekilde kullanılmasına neden olur. Ancak burada bu örnekte, itici etkiler aslında balık parçalarının ayrılmasına neden olur.

Biz (bu konu hakkında yardımcı olabilir oyuncak (genellikle T-SNE ile kullanıldığı gibi) yerine rasgele koordinatları daha ilk kez yerleştirildiğinde orijinal koordinatlar kullanılarak veri setinin) ilk konu. Bu kez, görüntü ELKI yerine sklearn, çünkü sklearn sürümü zaten başlangıç ​​koordinatlarını geçmek için bir parametreye sahipti:

Gördüğünüz gibi, "mükemmel" ilk yerleşimde bile, t-SNE, balıkları başlangıçta bağlanmış olan birkaç yerde "kıracak" çünkü çıktı alanındaki Student-t itmesi girdideki Gaussian afinitesinden daha güçlü alan, boş yer, mekan.

Gördüğünüz gibi, t-SNE (ve SNE de!) İlginç görselleştirme teknikleridir ancak dikkatle ele alınmaları gerekir. Sonuçta K-aracı kullanmamayı tercih ederim! çünkü sonuç ağır şekilde çarpıtılır ve mesafeler veya yoğunluk iyi korunmaz. Bunun yerine, görselleştirme için kullanmak yerine.

@ErichSchubert tarafından iyi tartışılan (+1) ve son derece olumlu cevapları hakkında biraz muhalif bir görüş bildirmek istiyorum. Erich yok değil t-SNE çıkışına kümeleme tavsiye ve yanıltıcı olabilir bazı oyuncak örnekleri gösterir. Önerisi, bunun yerine orijinal verilere kümelemeyi uygulamak.

görselleştirme için t-SNE kullanın (ve görsel olarak hoş bir şey elde etmek için farklı parametreler deneyin!), ancak daha sonra özellikle kümelenmeyi çalıştırmayın, özellikle bu bilgi kasıtlı olarak (!) kaybolduğu için mesafe veya yoğunluk tabanlı algoritmalar kullanmayın.

T-SNE çıktılarının yanıltıcı olabileceğinin farkındayım (bkz. Https://distill.pub/2016/misread-tsne/ ) ve bazı durumlarda garip sonuçlar verebileceğini kabul ediyorum.

Fakat bazı gerçek yüksek boyutlu verileri düşünelim.

MNIST verilerini alın : 70000 tek haneli görüntüler. Verilerde 10 sınıf olduğunu biliyoruz. Bu sınıflar, bir insan gözlemciye iyi ayrılmış gibi görünmektedir. Ancak, MNIST verilerinin 10 kümeye kümelenmesi çok zor bir problemdir. Verileri 10 kümeye doğru şekilde kümeleyen herhangi bir kümeleme algoritmasının farkında değilim ; Daha da önemlisi, verilerde 10 (az değil) küme olduğunu gösteren herhangi bir kümelenme sezgiselinin farkında değilim. En yaygın yaklaşımların bunu gösteremeyeceğinden eminim.

Ama onun yerine t-SNE yapalım. (Kişi çevrimiçi olarak MNIST'e uygulanan birçok t-SNE rakamı bulabilir, ancak bunlar genellikle düşüktür. Tecrübelerime göre, iyi sonuçlar almak için epeyce erken abartı yapmak gerekiyor. Aşağıda kullanıyorum perplexity=50, max_iter=2000, early_exag_coeff=12, stop_lying_iter=1000). İşte ne elde edersem, etiketlenmemiş solda ve sağdaki gerçeğe göre renklendirilmiş:

Etiketlenmemiş t-SNE temsilinin 10 küme önerdiğini iddia ediyorum. HDBSCAN gibi iyi bir yoğunluğa dayalı kümeleme algoritmasının dikkatlice seçilmiş parametrelerle kullanılması bu 2B verilerin 10 kümeye kümelenmesine olanak sağlayacaktır.

Burada birisi gerçekten yukarıda sol arsa 10 kümeleri önerir şüphe edecek, burada ben ayrıca çalıştırmak "geç abartı" hile ile elde ediyoruz max_iter=200ile yinelemeleri exaggeration=4: (bu hüner bu büyük kağıt sürülmektedir https://arxiv.org /abs/1712.09005 ):

Şimdi 10 küme olduğu çok açık olmalıdır .

T-SNE'den sonra kümelenmeyi düşünen herkesi, nispeten iyi bir sonuç elde edecek bir kümeleme algoritması göstermek için kötü bir fikir olduğunu teşvik ediyorum.

Ve şimdi daha da gerçek veriler.

MNIST vakasında temel gerçeği biliyoruz. Şimdi bilinmeyen temel gerçeği olan bazı verileri düşünün. Kümeleme ve t-SNE, tek hücreli RNA-sekans verilerindeki hücre değişkenliğini tanımlamak için rutin olarak kullanılır. Örneğin Shekhar ve diğ. 2016, 27000 retinal hücre arasındaki kümeleri belirlemeye çalıştı (fare genomunda yaklaşık 20k gen var, bu nedenle verinin boyutsallığı prensipte 20k civarındadır, ancak genellikle PCA ile boyutsallığın 50'ye kadar düşürülmesiyle başlar). T-SNE yaparlar ve ayrıca kümeleme yaparlar (bazı küme birleşmeleri vb. Tarafından takip edilen karmaşık bir kümeleme boru hattı). Nihai sonuç hoş görünüyor:

Çok hoş görünmesinin nedeni, t-SNE'nin açıkça belirgin kümeler üretmesi ve kümeleme algoritmasının aynı kümeleri vermesidir. Güzel.

Ancak, eklere bakarsanız, yazarların birçok farklı kümeleme yaklaşımını denediklerini göreceksiniz. Birçoğu t-SNE arsa üzerinde berbat görünüyor, çünkü büyük merkezi küme birçok alt kümeye bölünüyor:

Öyleyse neye inanıyorsunuz: Favori kümelenme algoritmanızın, küme sayısını belirlemek için favori buluşmanızla birlikte çıktısını ya da t-SNE grafiği üzerinde ne gördüğünüzü düşünüyorsunuz? Dürüst olmak gerekirse, t-SNE'nin tüm eksikliklerine rağmen, t-SNE'ye daha fazla inanma eğilimindeyim. Ya da her durumda, neden daha az inanmam gerektiğini anlamıyorum .

Büyük çaplı şaşkınlıkla t-SNE'nin https://distill.pub/2016/misread-tsne/ de belirtildiği gibi küresel topolojiyi yeniden yapılandırabileceğini düşünüyorum .

Balık görüntüsünden, t-SNE için 4000 puan örneklemiştim. Büyük bir şaşkınlıkla (2000), balık görüntüsü neredeyse yeniden inşa edildi.

Orijinal görüntü burada.

Burada, t-SNE tarafından şaşkınlık = 2000 ile yeniden oluşturulan görüntü.

Elimizdeki matematiksel kanıtlara dayanarak, bu yöntem teknik olarak mesafeleri koruyabilir! neden hepiniz bu özelliği yok sayıyorsunuz! t- SNE, numuneler arasındaki yüksek boyutlu Öklid mesafelerini benzerlikleri temsil eden koşullu olasılıklara dönüştürüyor. Denedim t GMM kümelenme ile önemlisi Spektral kümeleme, Affinity dahil olmak üzere farklı konsensüs kümeleme algoritmaları ile paralel olarak (genomik bağlamında) fazla 11.000 örnekleri ile -SNE (yoğunluk tabanlı kümeleme algoritmasıdır!). Sonuç olarak, iki yaklaşım arasındaki çok iyi uyumlu bir sonuç bulunamadı ( t-SNE vs. konsensüs kümeleme algoritmaları). T-SNE'yi konsensüs kümeleme algoritmalarıyla entegre etmenin mevcut yerel ve küresel veri yapılarının en iyi kanıtını sağlayabileceğine inanıyorum.

DBSCAN kümeleme algoritmasını deneyebilirsiniz. Ayrıca, tsne'nin katkısı beklenen en küçük küme ile aynı boyutta olmalıdır.

Şahsen, bunu bir kez yaşadım, ancak t-SNE veya PCA ile değil. Orijinal verilerim 15 boyutlu uzayda. 2B ve 3B gömme işlemlerine azaltmak için UMAP kullanarak, hem 2B hem de 3B grafiklerde 2 mükemmel ve görsel olarak ayrılabilir kümeye sahibim. Gerçek olamayacak kadar iyi. Ancak, kalıcılık şemasındaki orjinal verilere "baktığımda", sadece 2 değil, çok daha "önemli" kümeler olduğunu fark ettim.

Boyut küçültme tekniğinin çıktısı üzerine kümeleme çok dikkatli yapılmalıdır, aksi takdirde herhangi bir yorum çok yanıltıcı ya da yanlış olabilir, çünkü boyut küçültme kesinlikle özellik kaybına neden olabilir (belki gürültülü ya da gerçek özellikler, ancak bir öncelik hangisini bilmiyorum). Kanımca, kümeleri güvenebilir / yorumlayabilirsiniz, eğer:

• Yansıtılan verideki kümeler, bir priori tanımlayan bazı sınıflandırmalara karşılık gelir / onaylar (önceden belirlenmiş veri kümelerinin rakamların sınıflandırmasıyla çok iyi uyuştuğu MNIST veri kümesini düşünün) ve / veya

• Kalıcılık diyagramları gibi diğer yöntemleri kullanarak bu kümelerin orjinal verilerdeki varlığını onaylayabilirsiniz. Sadece bağlı bileşenlerin sayısının sayılması oldukça makul bir sürede yapılabilir.