Bir uyumsuzluk ölçüsü için ağırlıklar nasıl bulunur?

Kümeleme için kullanabileceğim benzerlik ölçümüm için ağırlıklarını öğrenmek (çıkarmak) istiyorum.

Bazı örnekler vardır (aynı kümedeki olmalıdır) "içindeki", hem de bazı örnekler olarak nesnelerin çiftlerinin "benzemeyen" nesnelerin çiftlerinin (olmamalıdır aynı kümede olması). Her nesnenin birtakım nitelikleri vardır: İsterseniz, her bir nesneyi , her özelliğin negatif olmayan bir tamsayı olduğu, boyutlu bir özellik vektörü olarak düşünebiliriz . Benzer / farklı nesnelerin bu tür örneklerini, benzerlik ölçümü için en uygun özellik ağırlıklarını tahmin etmek için kullanma teknikleri var mı? $(a_i,b_i)$ $(c_i,d_i)$ $d$

Eğer yardımcı olursa, uygulamamda, ağırlıklı bir L2 normu olan farklılık ölçüsünü öğrenmeye odaklanmak makul olacaktır:

d (x, y) = \sum_{j} α_{j} (x [j] - y [j])^{2} .

$d(x,y) = \sum_j \alpha_j (x[j] - y[j])^2.$

burada ağırlıkları bilinmemektedir ve öğrenilmelidir. (Ya da, bir tür ağırlıklı kosinüs benzerlik ölçüsü de makul olabilir.) Örnekler göz önüne alındığında, böyle bir ölçü için ağırlıkları öğrenmek için iyi algoritmalar var mı? Yoksa göz önünde bulundurmam gereken bir benzerlik ölçüsü / farklılık ölçüsü öğrenmek için başka yöntemler var mı? $\alpha_j$ $\alpha_j$

Boyutların sayısı maalesef çok fazladır (binlerce veya daha yüksek; kelime torbası özelliklerinden türetilmiştir). Ancak on binlerce örneğim var. Daha sonra kümelemek istediğim yüz binlerce nesneye sahibim, bu yüzden iyi bir farklılık metriği öğrenmek için örneklerden genelleştirmek önemlidir.

Bunun yarı denetimli kümelenmenin rubricine düştüğünü ve bunun "benzerlik uyarlayıcı" damardan olabileceğini düşünüyorum, ancak bu amaçla kullanılacak algoritmaların açık tanımlarını bulamadım.

— DW
kaynak

Çok ilginç bir problem. Eğer probleminizi düzeltirsem, size esas olarak boş bir matris verilir. Bazı öğeler doldurulur ancak çoğu eksiktir. İlk önce bu matrisi doldurmaya çalışırdım (örneğin düşük seviyeli varsayım kullanarak).

— Vladislavs Dovgalecs

@xeon, bu bir yaklaşım olabilir, ancak özellikleri görmezden gelir. Benim hipotezim, bazı özelliklerin son derece alakalı ve bazı özelliklerin alakalı olmadığı ve ilgili özelliklerdeki farka bakmanın makul bir benzerlik metriği sağladığıdır - ancak bu metriği nasıl buluruz? Önerdiğiniz gibi matrisi tamamlamaya çalışmak bu yapıyı görmezden gelir ve bu nedenle elimizdeki verilerden tam olarak yararlanamaz.

— DW

Son hedefin nedir? Sadece mesafe metriğini öğrenmek değil, değil mi? Veri noktalarını kategorilere ayırmak istiyorsunuz, değil mi?

— Vladislavs Dovgalecs

Çok açık bir şekilde açıklanmadığınızı düşündüğüm şeyler var. Tüm örnek çiftleri tam bir ikili (1 = benzer; 0 = farklı) bir matris mi oluşturuyor veya bazı hücre bilgileri eksik mi? Matris "çelişkili" midir - yani, örnek örtüşmeyen sınıflara bölünüyor mu? Ayrıca, hiçbir öğrenme yönteminin size ölçüm türünü (örneğin, L2 veya L1 normu gibi) tavsiye edemeyeceğini (veya kullanmanız gerektiğini) unutmayın, çünkü bu seçim teoriktir (nitelik türüne, özelliğin kavramsallaştırılmasına bağlıdır) boşluk, o zaman kullanacağınız kümeleme yöntemi).

— ttnphns

Bu, burada makul bir şekilde cevap verilemeyecek kadar geniştir . Hem ağırlıklandırma, seçme hem de mesafe fonksiyonlarının öğrenilmesine yönelik çok sayıda literatür vardır. Sanırım benzerlik hakkında bir konferans bile gördüm!

— ÇIKIŞ - Anony-Mousse

Yanıtlar:

Makine öğreniminin bazı alanlarında bu büyük bir sorundur. İstediğim kadar tanıdık değilim ama sanırım bunlar başlasın.

Değişmez Bir Haritalama (DrLIM) Öğrenerek Boyutsal Azaltma , bazı veri kümelerinde çok iyi çalışıyor gibi görünüyor.
Komşuluk bileşenleri analizi çok hoş bir doğrusal algoritmadır ve doğrusal olmayan versiyonlar da geliştirilmiştir.
Bu konuyu "çekirdek öğrenme" perspektifinden ele alan bütün bir literatür var. Bu konuda fazla bir şey bilmiyorum, ama bu yazı çok alıntı.

Verilerinizin çok yüksek boyutlu (ve muhtemelen seyrek?) Olduğu göz önüne alındığında, doğrusal olmayan bir şeye ihtiyacınız olmayabilir. Belki mahalle bileşenleri analizi başlamak için en iyi yerdir? önerdiğiniz gibi, ağırlıklı bir normu fikrine en yakın olanıdır . $L_2$

— David J. Harris
kaynak

Evet, veriler seyrek. Bu son derece yararlı görünüyor, teşekkür ederim. matrisinin diyagonal olarak kısıtlandığı mahalle bileşenleri analizinin bir varyantı var mı (eşdeğer olarak diyagonaldir)? (Bu, yukarıdaki

Q

$Q$

A

$A$

— DW

Bu kısıtlamayı neden ekleyemediğinizi anlamıyorum. Sonuçta ortaya çıkan modelin bir adı olup olmadığından emin değilim.

— David J. Harris

Bir takma için benzerlik ölçüsü olarak bir özellik ağırlığı çok denk veri kümesi ölçekleme ile . $a_i$ $1/w_i$

Başka bir deyişle, veri önişleme ve ölçeklendirme hakkında sorular soruyorsunuz. Bu, tek bir soruda iyi cevaplanamayacak kadar geniştir. Aramak:

Öznitelik Seçimi
özellik ağırlıklandırma
normalleştirme
Boyutsal küçülme
diğer projeksiyon teknikleri
diğer mesafe fonksiyonları
"sıralamayı öğrenme"

Büyük miktarda literatür ve hatta buna adanmış konferans yolları var. Başlamanız için bazı yöntemler:

— QUIT Vardır - Anony-Mousse
kaynak