Hamming mesafesi altındaki tüm değer çiftlerini bulun

Birkaç milyon 32-bit değerim var. Her değer için 5'lik bir çekiçleme mesafesi içindeki diğer tüm değerleri bulmak istiyorum. Saf yaklaşımda, bu kaçınmak istediğim $O(N^2)$ karşılaştırmaları gerektirir .

Bu 32 bit değerlere tamsayı olarak davranıp listeyi bir kez sıralarsam, o zaman sadece en az anlamlı bitlerde farklılık gösteren değerlerin birbirine çok yakın olduğunu fark ettim. Bu, daha kısa bir "pencere" veya tam çekiçleme mesafesi için gerçek çift karşılaştırmalar yapabileceğim bir sayı aralığına sahip olmamı sağlıyor. Bununla birlikte, 2 değer yalnızca daha yüksek sıra bitlerinde değiştiğinde, bu "pencere" dışında kalırlar ve sıralanan listenin karşı uçlarında görünürler. Örneğin

11010010101001110001111001010110

01010010101001110001111001010110

çekiçleme mesafesi 1 olmasına rağmen çok uzak olacaktır. Her ikisi de döndürüldüğünde 2 değer arasındaki çekiçleme mesafesi korunduğundan, 32 sola dönüş yaparak ve ardından listeyi her seferinde sıralayarak, muhtemelen 2 değerin bunlardan en az birinde sıralanan listede yeterince yakın sonuçlanır.

Her ne kadar bu yaklaşım bana iyi sonuçlar veriyor olsa da, bu yaklaşımın doğruluğunu resmi olarak belirlemeye çalışıyorum.
Darbe mesafesi $k$ veya daha az olan eşleşen değerleri aradığım göz önüne alındığında, gerçekten 32 bit dönüşlerin hepsini yapmam gerekir mi? Örneğin, $k=1$ ve pencere boyutum 1000 ise, maksimum 24 bit rotasyonda yapmam gerekir, çünkü kaçak bit 8 alt sıra bitinden birinde görünse bile, elde edilen sayılar 1000'den fazla değişmez.

ds.algorithms co.combinatorics approximation-algorithms

— karterk
kaynak

Sadece 20 saniyelik düşünce: Fikirler Gray-Code'a göre? 32 bit bitmaplerin listesini 8 bit bitmaplerin dört listesine bölüp tekniğinizi kullanmaya ne dersiniz?

— Karl Damgaard Asmussen

2^{20}

$2^{20}$

2^{30}

$2^{30}$

@minar: Böyle 32 bit bitmap'lerden 3-4 milyonum var.

— karterk

A [i]

$A[i]$

4 \times 10^{9}

$4\times 10^9$ A[i].close

i

$i$

uygulanabilir hiper küpler dışında benzer bir "dörtlü" kavramı olduğunu düşünün . algoritma vektörleri hiper küplerde bulur ve özyinelemeli olarak bulur ve sonra "yakın" bitvektörleri aramak istediğinizde, yalnızca "yakın" hiper küpleri ararsınız. şüpheli o çalışma ve bir yerde bir kağıt .... emin değilim doğru terimler ....

— vzn

Yanıtlar:

Belirtildiği gibi, yaklaşımınız sorunludur, çünkü 2 bitmap'in herhangi bir dönüşte eşit aralıklı farklılıkları varsa, bazı yüksek dereceli bitlerde farklılıklar olacaktır.

$5$ $1/50$ $64\cdot N$ $N\approx 2^{22}$

$4$ $5$ $529\cdot N$ $4960\cdot N$

Ek bilgi:

$5$ $16$ $32$ $\frac{(\binom{16}{5})}{(\binom{32}{5})} \approx 0.0217$ $\frac{\binom{16}{5}}{\binom{32}{5}}\approx 0.0217$
Orijinal listedeki her eleman için listelerin oluşturulması, artırılmış listeye konur: elemanın kendisi, tüm elemanlar bir konumda farklıdır ve tüm elemanlar iki konumda farklıdır (orijinal eleman hakkında bilgi tutarak). Her öğenin kopya sayısıBu listedeki herhangi bir çarpışma (sıralamadan sonra algılanır) en fazla mesafedeki iki orijinal öğeye karşılık gelir . Her çiftin birkaç kez tespit edilebileceğini unutmayın, bu nedenle kopyaları kaldırmanız gerekir (ancak ilk algoritmanızda durum böyleydi). $1+32+\binom{32}{2}=529.$ $4$
Son geçiş için, yalnızca orijinal öğelerinden tam olarak uzakta olanları tutmak için artırılmış elemanlar listesini budamak tercih edilir . Ardından, her orijinal öğe için öğeleri mesafesinde oluşturun ve bunları artırılmış listede arayın. Bir kez daha, her bir çift kez tespit edileceğinden kopyaları kaldırmanız gerekiyor . [Ekstra özenle, çoğu kopyayı tahmin edebilir / önleyebilirsiniz, ancak çabaya değip değmeyeceğinden emin değilim.] $2$ $\binom{32}{3}=4960$ $3$ $\binom{5}{3}=10$

— minar
kaynak

İlk yaklaşım için, bitmap'e sadece biraz dönme yapmak yerine önceden belirlenmiş bazı siparişlerde izin verdiğimi mi söylüyorsunuz? 1/50 olasılığınızı nasıl elde ettiğinizi açıklar mısınız? Ayrıca, ikinci yaklaşım için, önce listemden bir dizin oluşturmam ve sonra her öğe için - 32C1 + 32C2) kombinasyonları oluşturmam ve 2 bit mesafeden farklı tüm bitmap'leri tanımlamak için bunları bu dizine karşı kontrol etmem gerekir mi? Bunu daha fazla açıklayabilirseniz harika olur. Teşekkürler.

— karterk

minar'ın yanıtı mükemmeldir ve muhtemelen bu sorun için doğru yaklaşımdır. Ancak, olası bir yaklaşımdan daha bahsedeceğim:

Bir kullanabilirsiniz yerellik duyarlı karma işlevi (LSH). Yere duyarlı bir karma işlevi , Hamming mesafesine yakınsa, . Eğer böyle bir karma varsa , o zaman (hash fonksiyonu kullanarak bir karma tabloya tüm değerlerini saklayabilir ve açık karma) ve sonra çok hızlı bir şekilde Hamming mesafe yakın değerlerin tüm çiftleri bulmak mümkün olacak . Bir LSH oluşturmak için çeşitli teknikler vardır; birkaç aday bulmak için bu konudaki referanslara bakabilirsiniz. $H$ $x,y$ $H(x)=H(y)$ $H$ $H$

Bununla birlikte, özel probleminiz için (bahsettiğiniz spesifik parametrelerle), minar'ın iki algoritmasının pratikte herhangi bir LSH tabanlı şemadan daha iyi olacağını umuyorum. Bunu sadece diğer okuyucuların bu soruya benzer bir sorunla gelmesi durumunda, ancak LSH'nin daha anlamlı olabileceği farklı parametrelerle gelmesi durumunda bahsediyorum.

— DW
kaynak