Dirichlet Kümeleme işlemleri: etiketlerle nasıl başa çıkılır?

S: Dirichlet İşlemi kullanarak verileri kümelemenin standart yolu nedir?

Gibbs örnekleme kullanılırken örnekleme sırasında kümeler belirir ve yok olur. Ayrıca posterior dağılımın küme yeniden etiketlemelerine değişmediği için bir tanımlanabilirlik problemimiz var. Böylece, bir kullanıcının küme hangisi olduğunu söyleyemeyiz, bunun yerine iki kullanıcının aynı kümede olduğunu (yani ). $p(c_i=c_j)$

Sınıf atamalarını özetleyebilir miyiz, eğer noktasının küme atamasıysa, şimdi sadece o değil, ? $c_i$ $i$ $c_i=c_j$ $c_i=c_j=c_j=...=c_z$

Bunlar bulduğum alternatifler ve neden eksik ya da yanlış yönlendirilmiş olduklarını düşünüyorum.

(1) DP-GMM + Gibbs örneklemesi + çift bazlı karışıklık matrisi

Bir kümeleme için bir Dirichlet Proses Gauss Karışım Modeli (DP-GMM) kullanmak için , yazarların Gibbs örneklemesi kullanarak yoğunluk tahmini için bir DP-GMM önerdiği bu makaleyi uyguladım .

Kümelenme performansını keşfetmek için şunları söylüyorlar:

Bileşenlerin sayısı [MCMC] zinciri üzerinde değiştiğinden, tüm zincir için aynı bileşene atanan her veri çiftinin frekansını gösteren bir karışıklık matrisi oluşturulması gerekir, bkz. Şekil 6.

Eksileri : Bu gerçek bir "tam" kümeleme değil, çift bilge bir kümeleme. Rakam bu güzel görünüyor çünkü gerçek kümeleri biliyoruz ve matrisi buna göre düzenliyoruz.

(2) DP-GMM + Gibbs örneklemesi + hiçbir şey değişene kadar numune

Ben araştırıyorum ve bazı insanlar Gibbs örnekleyici kullanarak Dirichlet Süreci dayalı kümeleme yapmak iddia etti. Örneğin, bu yazı , küme sayısında veya araçlarda başka değişiklik olmadığında zincirin birleştiği ve bu nedenle özetleri oradan aldığını düşünmektedir.

Olumsuz yönleri : Bu yana izin verildiğinden emin değilim, eğer yanlış değilsem:

(a) MCMC sırasında etiket değişiklikleri olabilir.
(b) sabit dağılımda bile örnekleyici zaman zaman bir grup oluşturabilir.

(3) DP-GMM + Gibbs örneklemesi + büyük olasılıkla bölünmüş örnek seçin

Bu yazıda yazarlar şöyle diyor:

Bir “yanma” döneminden sonra, IGMM'nin arka dağılımından tarafsız örnekler Gibbs örnekleyicisinden alınabilir. Bu tür birçok örnek çizilerek ve sınıf gösterge değişkenlerinin en yüksek eklem olasılığına sahip örnek kullanılarak sert bir kümeleme bulunabilir. M. Mandel tarafından yazılmış değiştirilmiş bir IGMM uygulaması kullanıyoruz .

Eksileri : Bu, yalnızca ödevleri örneklediğimiz bir Daraltılmış Gibbs Örnekleyicisi olmadığı sürece, hesaplayabiliriz , marjinal hesaplayamayız . (En yüksek durumuna sahip olmak bunun yerine iyi bir uygulama olur mu?) $p(\mathbf{c} | \theta)$ $p(\mathbf{c})$ $p(\mathbf{c}, \theta)$

(4) Variatonal Çıkarımlı DP-GMM :

Bazı kütüphanelerin varyasyonsal çıkarım kullandığını gördüm. Varyasyonel Çıkarım'ı çok fazla bilmiyorum ama sanırım orada tanımlanabilirlik problemleri yok. Ancak, (mümkünse) MCMC yöntemlerine bağlı kalmak istiyorum.

Herhangi bir referans yardımcı olacaktır.

— alberto
kaynak

Yaklaşım 3'te (arka mod), kullanılamamasıyla ilgili şikayetiniz bana pek mantıklı gelmiyor. Genel olarak MCMC hakkında bu özel sorundan ziyade bir şikayet gibi görünüyor.

p (c)

$p(\mathbf{c})$

— shadowtalker

Evet, tam olarak, yani MCMC bize erişimini vermez ve bu nedenle onu zincirdeki belirli bir durumdan alabileceğimizi iddia edemeyiz.

p (c)

$p(\mathbf{c})$

— alberto

işte tasarımdan . Aslında, MCMC'nin ötesine geçer: herhangi bir Bayesci modelin yerleşik bir özelliğidir. Herhangi bir şey varsa, bir sorunla karşılaşıyorsunuz çünkü doğal olmayan bir şey yapmaya çalışıyorsunuz, yapmakta takıntılı olduğumuz bir şey: dağıtım tahminini nokta tahminine sıkıştırmak

— shadowtalker

İlk başta böyle bir şey yapmak istememek için nedenler var - Dirichlet işlem karışımı modelinin kümelerin sayısını tutarlı bir şekilde tahmin edemediği (ve dolayısıyla bir " verilerin "kümelenmesi". Bu konuda NIPS'de yakın zamanda bir makale vardı.

— adamlar

Buraya bakın . Bunun yerine bileşenlerin sayısına daha önce bir Poisson koymayı öneriyorlar (ve bunu uygulamak için bir çeşit restoran işlemi türetiyorlar), ancak bunu yaptıkları kağıt olup olmadığından emin değilim.

— adamlar

Yanıtlar:

Geçici cevabım, parametre olarak davranmaktır, böylece sadece arka moddur. Niekum ve Barto'nun (3. seçenekte atıfta bulunulan makale) bundan şüphelendiğim şey bu. veya kullanmaları konusunda belirsiz olmalarının nedeni , birinin orantılı olmasıdır. $\mathbf{c}$ $p(\mathbf{c},\theta)$ $p(\mathbf{c}, \theta)$ $p(\mathbf{c}|\theta)$

Bu cevabın "belirsiz" olduğunu söylememin nedeni, bir değeri "parametre" olarak tanımlamanın sadece anlambilim meselesi olup olmadığından veya doktora sahibi kullanıcılardan birinin daha teknik / teorik bir tanımının olup olmadığından emin olmamamdır. burada aydınlatabiliriz.

— shadowtalker
kaynak

p (c, θ) = p (c | θ) p (θ)

$p(\mathbf{c,\theta}) = p(\mathbf{c |\theta}) p (\theta)$

p (c)

$p(\mathbf{c})$

@ alberto, bunun bu modelle ve Bayesci istatistiklerle ilgisi yok. Buraya bakın: groups.google.com/forum/m/#!topic/stan-users/qH-2Mq219gs . Birden çok mod hakkında endişeleniyorsanız, buraya bakın: groups.google.com/forum/m/#topic/stan-users/RsVo9NUn0yM ve burada: stats.stackexchange.com/q/3328/36229

— shadowtalker

Bazılarının bu soruyu cevaplamakta yardımcı olabileceğini umarak konuyla ilgili bazı kaynakları paylaşmak istedim. Dirichlet süreçlerinde (DP) , bazıları kümeleme için DP'yi kullanma da dahil olmak üzere birçok öğretici vardır . Onlar gibi, "yumuşak" arasında değişir bu sunum öğretici gibi, daha ileri bu sunum öğretici . İkincisi, MLSS'07'de Yee Whye Teh tarafından sunulan aynı öğreticinin güncellenmiş bir versiyonudur. Sen senkronize kaydıraklı o konuşmanın video izleyebilirsiniz burada . Videolar hakkında konuşan Tom Griffith tarafından kaydıraklı başka ilginç ve ilgili konuşmak izleyebilirsiniz burada . Kağıt biçimli öğreticiler açısından, bu öğretici güzel ve oldukça popüler olanıdır.

Son olarak, ilgili birkaç makaleyi paylaşmak istiyorum. Hiyerarşik DP hakkındaki bu makale önemli ve alakalı görünmektedir. Aynı şey Radford Neal tarafından yazılan bu yazı için de geçerlidir . Konu modelleme ile ilgileniyorsanız , gizli Dirichlet tahsisi (LDA) büyük olasılıkla radarınızda da olmalıdır. Bu durumda, bu son makale yeni ve çok gelişmiş bir LDA yaklaşımı sunmaktadır. Konu modelleme alanı ile ilgili olarak, David Blei ve ortak çalışanlarının araştırma makalelerini okumanızı tavsiye ederim. Bu makale bir giriş niteliğindedir, geri kalanını araştırma yayınları sayfasında bulabilirsiniz. Önerdiğim bazı materyallerin sizin için çok temel olabileceğini anlıyorum, ancak konuyla ilgili karşılaştığım her şeyi ekleyerek cevabı bulma şansınızı artıracağımı düşündüm .

— Aleksandr Blekh
kaynak

Burada ne yapmaya çalıştığınızı anlıyorum, ama gerçekten soruyu ele almıyor.

— shadowtalker

@ ssdecontrol: Burada ne yapmaya çalıştığımı anlarsanız (OP'nin cevabı keşfetmesine ve bir veya iki şey öğrenmesine yardımcı olur), yorumunuzun amacı nedir? Benim cevap iddia hiç cevap, ama öyle umudunu dile getirdi yararlı sonuçta kadar karar vermek OP olan. Daha iyi bir cevabınız varsa, eminim OP ve topluluk tarafından takdir edilecektir.

— Aleksandr Blekh

Evet, tamamen anlıyorum. Burada da yaptığım bir sürü şey var. Ancak soru, MCMC sonuçlarından küme etiketlerini seçmenin doğru yolunu soruyor ve bunun bu soruyu hiç çözmediğini sanmıyorum.

— shadowtalker

@AleksandrBlekh OP "temelleri" biliyor gibi göründüğü ve belirli bir soru sorduğu için ssdecontrol biraz konu dışı olduğunu kabul ediyorum.

— Tim

@AleksandrBlekh Gönderinizi takdir ediyorum, en azından DP'ye giriş için iyi bir özet yapıyor. Temelleri biliyorum (orta seviye, diyelim), ama en azından referanslarınız LDA'ya geri dönmemi ve etiketleri genellikle değişmediği için konunun etrafında uçtuğunu fark ettim.

— alberto