Bloom karşıtı filtre var mı?

Bir Bloom filtresi , işleme sırasında çeşitli değerlerle karşılaşılmış olup olmadığını etkin bir şekilde takip etmeyi sağlar. Çok sayıda veri öğesi olduğunda, bir Bloom filtresi bir karma tablo üzerinde önemli bir hafıza tasarrufuna neden olabilir. Bir hash tablosuyla paylaştığı bir Bloom filtresinin temel özelliği, bir öğe yeni değilse her zaman "yeni değil" demesidir, ancak bir öğenin yeni değil "olarak işaretleneceği sıfır olmayan bir olasılık vardır. "Yeni olsa bile.

Karşıt davranışı olan bir "Bloom karşıtı filtre" var mı?

Başka bir deyişle: eğer bir öğe yeniyse "yeni" diyen, ancak yeni olmayan bazı öğeler için "yeni" diyebilecek etkili bir veri yapısı var mı?

Önceden görülen tüm öğelerin (örneğin, sıralanmış bir listede) tutulması ilk gereksinimi karşılar ancak çok fazla bellek kullanabilir. Ben rahat ikinci şartı verilen de, gereksiz olduğunu umuyorum.

Daha resmi tedavi yazma tercih edenler için $b(x) = 1$ Bloom filtresi düşünürse $x$ yenidir, $b(x) = 0$ , aksi takdirde ve yazma $n(x) = 1$ ise $x$ gerçekten yeni ve $n(x) = 0$ aksi takdirde.

Sonra $Pr[b(x) = 0 | n(x) = 0] = 1$ ; $Pr[b(x) = 0 | n(x) = 1] = \alpha$ ; $Pr[b(x) = 1 | n(x) = 0] = 0$; $Pr[b(x) = 1 | n(x) = 1] = 1 - \alpha$ , bazı $0 < \alpha < 1$ .

I soran: yapan bir fonksiyonu uygulamak etkili bir veri yapısı vardır, $b'$ bazı $0 < \beta < 1$ , bu şekilde $Pr[b'(x) = 0 | n(x) = 0] = \beta$ ; $Pr[b'(x) = 0 | n(x) = 1] = 0$ ; $Pr[b'(x) = 1 | n(x) = 0] = 1 - \beta$ ; $Pr[b'(x) = 1 | n(x) = 1] = 1$ ?

Düzenleme: Bu soru daha önce /programming/635728 ve /cstheory/6596 adresinden /programming/635728 ve /cstheory/6596 olarak soruluyor gibi görünüyor . "ile" yapılabilir, " $b$ " değerlerini tersine çevirerek "yapmak" önemsizdir . Bana "doğru" cevabın ne olduğu henüz belli değil. Ne olduğunu net (Ilmari Karonen önerdiği bir gibi) oldukça iyi çalışıyor çeşit bir LRU önbelleğe alma düzeni, uygulanması kolay olmasıdır, ve benim kod çalıştırmasına için geçen sürede% 50'lik bir azalma ile sonuçlandı.

Patrick87'nin karma fikriyle başa çıkmak, işte neredeyse gereksinimlerinizi karşılayan pratik bir yapı - eski bir değer için yanlış bir şekilde yeni bir değeri yanlış kullanma olasılığı tamamen sıfır değil, kolayca ihmal edilebilir derecede küçük olabilir.

ve k parametrelerini seçin ; pratik değerler, n = 128 ve k = 16 olabilir . Let , H , bir güvenli kriptografik hızlı arama fonksiyonu (en azından) üretilmesi , n + k çıkış bit.$n$$k$$n = 128$$k = 16$$H$$n+k$

Let dizisi olarak 2 k , n bitlik bit katarı. Bu dizi depolar toplam kullanılarak filtrenin durumu, n, 2 K bit. (Bu dizinin nasıl başlatıldığının önemi yoktur; onu yalnızca sıfırlarla veya rastgele bitlerle doldurabiliriz.)$a$$2^k$ $n$$n2^k$

• $x$i k j n H ( x ) , bir i = $i \,\|\, j = H(x)$$i$$k$$j$$n$$H(x)$$a_{i} = j$

• Filtreye değerinin eklenip eklenmediğini test etmek için yukarıdaki gibi hesaplayın ve olup olmadığını kontrol edin . Eğer evet ise, doğru dönün; aksi halde false döndür.ben $x'$a i ′ = j $i' \,\|\, j' = H(x')$$a_{i'} = j'$

İstem 1: Yanlış pozitifin olasılığı (= hatalı olduğu iddia edilen yeni değer) . Bu, depolama alanındaki mütevazı bir maliyetle arttırılmasıyla keyfi olarak küçük yapılabilir ; bilhassa, , bu olasılık, pratikte, bir donanım arızası nedeniyle yanlış bir pozitif olasılığından çok daha küçük olduğu için, esasen ihmal edilebilir düzeydedir. , n , n ≥ $1/2^{n+k}$$n$$n \ge 128$

Özellikle, farklı değerler kontrol edilip filtreye eklendikten sonra, en az bir yanlış pozitif oluşma olasılığı . Örneğin, ve ,% 50 olasılıkla yanlış bir pozitif elde etmek için gereken farklı değerlerin sayısı yaklaşık .( N- 2 - N ) / 2 N + k + 1 , n = 128 k = 16 2 ( n + k ) / 2 = 2 $N$$(N^2-N) / 2^{n+k+1}$$n=128$$k=16$$2^{(n+k)/2} = 2^{72}$

2. İstem 2: Yanlış negatifin (= önceden yeni eklenen iddia edilen katma değerin değeri) olasılığı, , burada , filtreye eklenen farklı değerlerin sayısıdır (veya daha spesifik olarak, test edilmekte olan belirli değerin filtreye eklenmesinden sonra eklenen farklı değerlerin sayısı ).$1-(1-2^{-k})^N \approx 1-\exp(-N/2^k) < N/2^k$$N$

Ps. “İhmal edilebilir derecede küçük” bir perspektifi ortaya koymak için, 128-bit şifrelemenin şu anda bilinen teknolojiyle kırılmaz olduğu düşünülmektedir . Bu şemadan ile yanlış bir pozitif elde etmek , ilk denemede gizli 128-bit şifreleme anahtarınızı doğru tahmin eden biri olabilir . ( ve , aslında bundan yaklaşık 65.000 kat daha az muhtemeldir.)n = 128 k = $n+k=128$$n=128$$k=16$

Fakat eğer bu hala sizi irrasyonel olarak gergin hissediyorsa, daima geçebilirsiniz ; depolama gereksinimlerinizi iki katına çıkaracak, ancak güvenli bir şekilde, ile hiç kimsenin yanlış bir pozitif görmeyeceğini ispatlamak istediğiniz herhangi bir miktarla güvenli bir şekilde bahse girebilirim .n = 256$n=256$$n=256$

Hayır, bu özelliklerle etkin bir veri yapısına sahip olmak mümkün değildir, eğer veri yapısının gerçekten yeniyse "yeni" olacağını garanti etmek istiyorsanız (eğer asla, asla "yeni değil" diyecektir. aslında yenidir, yanlış negatiflere izin verilmez). Bu tür bir veri yapısının, "yeni değil" yanıtını vermek için tüm verilerini tutması gerekecektir. Kesin bir gerekçe için pents90’ın cstheory hakkındaki cevabına bakınız .

Buna karşılık, Bloom filtreleri olabilir verimli bir şekilde, olmayan yeni ise veri yapısı "yeni değil" demek olacağını garanti olsun. Özellikle, Bloom filtreleri tüm verileri depolamaktan daha verimli olabilir: her bir ürün oldukça uzun olabilir, ancak Bloom filtresinin boyutu toplam uzunlukları ile değil, öğelerin sayısıyla da ölçeklenir . Sorununuz için herhangi bir veri yapısının , veri öğelerinin sayısını değil, toplam veri uzunluğuyla ölçeklenmesi gerekir .

Peki ya bir karma tablo? Yeni bir öğe gördüğünüzde hash tablosunu kontrol edin. Öğenin noktası boşsa, "yeni" döndürün ve öğeyi ekleyin. Aksi halde, öğenin spotunun öğe tarafından işgal edilip edilmediğini kontrol edin. Öyleyse, "yeni değil" döndür. Spot başka bir öğe tarafından kullanılıyorsa, "new" döndürün ve spotun üzerine yeni öğenin üzerine yazın.

Maddenin karmasını daha önce hiç görmediyseniz, kesinlikle her zaman doğru bir şekilde "Yeni" yi alırsınız. Yalnızca aynı öğeyi gördüğünüzde öğenin karma değerini gördüyseniz, kesinlikle her zaman doğru bir şekilde "Yeni Değil" alırsınız. Doğru cevap "Yeni Değil" olduğunda "Yeni" olacak tek zaman, A maddesini görüyorsanız, B maddesine bakın, sonra A maddesine tekrar bakın, ve hem A hem de B'ye aynı şeye. Önemli olarak, asla "Yeni Değil" yanlış elde edemezsiniz.

Maddelerin evreninin sonlu olduğu durumda, evet: sadece setten ziyade hangi elementlerin setten çıktığını kaydeden bir çiçeklenme filtresi kullanın. (Yani, ilgi grubunun tamamlayıcısını temsil eden bir çiçeklenme filtresi kullanın.)

Bunun yararlı olduğu bir yer, sınırlı bir silme biçimine izin vermektir. İki tane çiçek filtresi tuttun. Boş başlarlar. Elementleri eklerken, bunları çiçeklenme filtresi A'ya eklersiniz. Daha sonra bir öğeyi silmek istiyorsanız, o öğeyi çiçeklenme filtresi B'ye eklersiniz. Bir arama yapmak için, ilk önce A çiçek filtresine bakın. Eşleşme bulamazsanız, öğe hiç eklenmedi (olasılık 1 ile). Bir eşleşme bulursanız, öğe eklenmiş olabilir (veya olmayabilir). Bu durumda çiçeklenme B filtresinde arama yaparsınız. Eşleşme bulamazsanız, öğe hiçbir zaman silinmedi. Çiçek filtresi B'de bir eşleşme bulursanız, öğe büyük olasılıkla eklenmiş ve sonra silinmiştir.

Bu, sorunuzu gerçekten cevaplamıyor, ancak bu sınırlı durumda, çiçek filtresi B tam olarak aradığınız "çiçeklenme karşıtı filtre" davranışını gerçekleştiriyor.

Real Bloom filtre araştırmacıları, silmeyi temsil etmek için çok daha etkili yollar kullanırlar, bkz. Mike Mitzenmacher'in yayın sayfası .

$v_i$

Örnek ip adresleri olabilir ve daha önce hiç görmediğiniz bir şey göründüğünde bilmek istersiniz. Ama yine de sınırlı bir set, yani ne bekleyebileceğini biliyorsun.

Gerçek çözüm basit:

1. Tüm öğeleri sayma çiçek filtresine ekleyin.
2. $\ge1$
3. Gerçek bir yeni öğeyi gördükten sonra, onu filtreden çıkarın.

Öyleyse, aslında eski, ancak yeni olarak kabul edilen 'yanlış pozitif' değerlere sahip olabilirsiniz. Ancak, hiçbir zaman yeni bir değer için 'yeni değil' elde edemezsiniz, çünkü değeri hala tüm yuvalarda olacak ve başka hiç kimse onu alamazdı.