Subakadratik zamanda benzer vektörleri bulma

İzin Vermek $d:\{0,1\}^k\times \{0,1\}^k \to \mathbb{R}$ benzerlik fonksiyonu olarak adlandırdığımız bir fonksiyon olabilir . Benzerlik fonksiyonuna örnek olarak kosinüs mesafesi, $l_2$ norm, Hamming mesafesi, Jaccard benzerliği, vb.

Düşünmek $n$ uzunluk ikili vektörleri $k$ : $\vec{v} \in (\{0,1\}^k)^n$ .

Hedefimiz benzer vektörleri gruplandırmaktır. Daha resmi olarak, düğümlerin vektör olduğu ve kenarların benzer olan vektörleri temsil ettiği bir benzerlik grafiğini hesaplamak istiyoruz ( $d(v,u) \leq \epsilon$ ).

$n$ ve $k$ çok büyük sayılar ve iki uzunluğu karşılaştırmak $k$ vektörler pahalıdır, tüm kaba kuvvetleri yapamayız $O(n^2)$ operasyonlar. Benzerlik grafiğini önemli ölçüde daha az işlemle hesaplamak istiyoruz.

Mümkün mü? Değilse, benzerlik grafiğindeki tüm kenarları artı muhtemelen en fazla içeren grafiğe bir yaklaşım hesaplayabiliriz $O(1)$ diğer kenarlar?

ds.algorithms graph-algorithms clustering

— Veri deposu
kaynak

Olmalı mı

\leq ϵ

$\leq \epsilon$ ziyade

\geq ϵ

$\geq \epsilon$ ?

— usul

@usul Yorumunuz için teşekkürler :) Burada, oldukça benzer olan öğeleri gruplandırmak istiyoruz. Soruyu düzenledim, umarım şimdi açıktır.

— Ram

Sorun boyutunu azaltmak için Benzerlik Koruma Karma'yı ( arxiv.org/pdf/1311.7662v1.pdf ) kullanabileceğiniz gibi geliyor .

— RB

Bu soru hiç iyi tanımlanmamış, lütfen daha fazla ayrıntı sağlayın. Örneğin,

d

$d$ bir kâhin tarafından verilir, o zaman açıkça daha iyisini yapamazsın

(\binom{n}{2})

${n\choose 2}$ .

— domotorp

Twitter için mi çalışıyorsun? blog.twitter.com/2014/all-pairs-slikeity-via-dimsum Cidden, bu grafikte bir kenar olup olmadığını tespit etmek bile (yani bağımsız bir köşe kümesi değil), daha hızlı yapmak çok zor olacak

O (n^{2})

$O(n^2)$ keyfi benzerlik işlevi için.

— Ryan Williams

Johnson-Lindenstrauss teoremini ayakkabı boynuzu bu soruna sokmanın bir yolu olabilir . Esasen, JL, çift boyutlu mesafeler neredeyse korunacak şekilde yüksek boyutlu verileri düşük boyutlu alanlara yansıtabileceğinizi belirtir. Daha pratik olarak, Achlioptas'ın Veritabanı dostu rastgele projeksiyonlar adlı bir makalesi vardır : Bu projeksiyonu rastgele bir şekilde yapan ikili paraları olan Johnson-Lindenstrauss , pratikte oldukça iyi çalışır.

Şimdi, kesinlikle, benzerlik fonksiyonunuz JL teoremine uyan bir şeyle tam olarak aynı değildir. Bununla birlikte, bir mesafe fonksiyonu gibi görünüyor ve belki de yukarıdaki teorinin bir kısmı yardımcı olabilir.

— wyer33
kaynak