Yanlış pozitif olmayan olasılıklı bir set mi?

Bu nedenle, Bloom filtreleri oldukça havalıdır - üyelik kontrolünü yanlış negatifler olmadan, ancak küçük bir pozitif pozitif şansı destekleyen setlerdir. Son zamanlarda, bunun tersini garanti eden bir "Bloom filtresi" istiyordum: yanlış pozitif değil, potansiyel olarak yanlış negatif.

Motivasyonum basit: işlenecek çok sayıda öğe akışı (çoğaltılmış olarak) verildiğinde, daha önce gördüğümüz öğeleri işlemekten kaçınmak istiyoruz. Bir kopyayı işlemek acı vermez, sadece zaman kaybıdır. Yine de, bir elementi işlemeyi ihmal edersek, felaket olur. "Ters Bloom filtresi" ile, az yer kaplamasıyla görülen öğeleri saklayabilir ve sete üyelik için test ederek yüksek olasılıkla çiftleri işlemekten kaçınabilir.

Yine de bu tür bir şey bulamıyorum. Bulduğum en yakını " rötuşlanan Bloom filtreleri " dir, ki bu, birinin daha yüksek bir yanlış negatif oran için seçilen hatalı pozitifleri alıp satmasını sağlar. Ancak, tüm yanlış pozitifleri kaldırmak istediğinde, veri yapılarının ne kadar iyi performans gösterdiğini bilmiyorum

Böyle bir şey gören oldu mu? :)

Cevaplardan biri, büyük bir karma tablo kullanmak ve doldurduğunda, onlar için başka bir yerde (varolmayan) boş yuvalar bulmak yerine, içindeki öğeleri değiştirmeye başlamak. Bloom filtreleriyle yaptığınız sahte yanlış cevapların oranını sabit alamazsınız, ancak bu hiç olmamasından iyidir. Bunun standart olduğuna inanıyorum, örneğin daha önce aranan pozisyonları takip etmek için satranç yazılımında.

Bu sorunun cevabı "hayır" dır. Nedenini görmek için çok aşırı bir durum ve normal bir çiçeklenme filtresinin nasıl çalışacağını düşünebiliriz. Buna "kasvetli filtre" diyebileceğimiz teorik bir "Bizzaro Dünyası" çiçek filtresi.

Bir çiçek filtresinin en güzel yanı, hata olasılığına ve depolanan öğe sayısına göre sabit bir boyuta sahip veri yapısını kullanarak, öğelerin üyeliği (yanlış pozitif) tek taraflı testler yapabilmenizdir . Boyutları öğelerin kendilerini hiç önemi yoktur. Örneğin,% 3'ten daha az hatayla 1.000 öğeye kadar depolamak için bir çiçeklenme filtresine sahip olsaydık, o zaman Vikipedi'nin tüm corpus'unun 1000 küçük versiyonunu saklayabilirdik, her birinde bir harf değişiyordu ve biz hala İstediğimiz ölçüleri aldığınızda veri yapısı çok küçük olacaktır (bir kilobayttan az). Tabii ki, bu karmaşayı hesaplamak zor olacak, ancak prensip hala geçerli.

Şimdi, aynı masif ipleri kasvetli bir filtrede saklamayı düşünün! Şimdi sadece yanlış negatifler yapabiliriz. Öyleyse "evet, Wikipedia'nın bütün bir kısmının bu hali bu sette" diyorsak, bu konuda kesinlikle haklı olmalıyız. Bu, karma değerin bize yardımcı olmayacağı anlamına gelir; çünkü her zaman aynı değere sahip olan başka bir dize olacaktır. "Evet" demenin ve emin olmanın tek yolu tüm dizgiyi veya aynı uzunluktaki bazı eşdeğer verilerini saklamaktır. Her zaman saklayamıyor ve "hayır" diyemedik, ancak sonuçta hata oranı bizi yakalayacaktır. Yapabileceğimiz en iyi şey, yapının boyutunu depolanan verilerin entropisinin ürününe indirgemesine ve arzu ettiğimiz hassasiyete indirgemektir.

Yani, ne yazık ki kasvetli filtre yok. Önbellekleme tek çözümdür, ancak bir çiçek filtresinin tam tersi değildir, çünkü boyutu depolanan bilgi miktarı ve filtrenin istenen doğruluk oranı ile orantılı olacaktır. Elbette, birçok gerçek dünya senaryosunda, büyük veriler bir kimlikle temsil edilebilir, bu nedenle önbellekleme hala oldukça kabul edilebilir olabilir. Fakat köklü çiçek filtresinden temelde farklı.

Sadece önbellek istiyorsun , ama bunu garip bir şekilde düşünüyor.

YASAL UYARI: Önbellek konusunda uzman değilim, bu yüzden bu naif bir fikir olabilir ve daha önce hiç duymadığım bilinen bir fikir olabilir. Bu yüzden referansını alıntı yapamazsam (varsa); ve yazının düzenlenmesi ve eklenmesi için bir referans olup olmadığını lütfen bana bildirin. (Çok sezgisel olduğu için referans alabileceğinden şüpheleniyorum).

$c$$c$

Yanlış negatifleri olmayan bir filtre görevi görmek için kısmi parçalara sahip AVL (ve bazen kırmızı-siyah) ağaçları kullandım. Ağacı eklerken veya sorgularken, öğenin yalnızca ilk X baytını kullanın. Veri yapısı biçimsel olarak olasılıksal olmadığından, bit çarpışma ile hatalı-pozitif olma riski yoktur. Ve tüm öğeyi önbelleğe almanın aksine, bu yaklaşım size hesaplanabilir bir maksimum alan sağlar. Sahte pozitiflerin oranını, sahte pozitiflerin ve alanların maliyetine kıyasla farklı önek uzunlukları / ağaç derinlikleri dikkate alarak ayarlayabilirsiniz.

Yukarıdaki veri yapısının var olamayacağını belirten bir alt sınır olduğunu kanıtlayabileceğimi düşünüyorum. Temel olarak, eğer veri yapısı m bit kullanıyorsa, o zaman sabit bir bit vektörü (bir girişin gösterilmesi), sayma argümanı ile en fazla (((un) + n eps) \ select (un)) kümelerine karşılık gelebilir. Bu sayının 2 ^ m çarpı en az olması gerektiği göz önüne alındığında (u \ select n) (tüm kümeler gösterilmelidir), küme S'yi tam olarak depolamaya çok yakın bir alt sınır elde ediyoruz.