Çiçeklenme filtrelerini kullanmanın avantajı nedir?

Çiçek filtreleri hakkında okuyorum ve aptalca görünüyorlar. Bir çiçeklenme filtresiyle başarabileceğiniz her şeyi, birden çok yerine tek bir hash işlevi kullanarak daha az alanda, daha verimli bir şekilde başarabilirsiniz, ya da öyle görünüyor. Neden çiçeklenme filtresi kullanırsınız ve bu nasıl faydalıdır?

Gönderen Vikipedi :

Bloom filtreleri, kendi kendini dengeleyen ikili arama ağaçları, denemeler, karma tablolar veya basit diziler veya girişlerin bağlantılı listeleri gibi kümeleri temsil etmek için diğer veri yapılarına göre güçlü bir alan avantajına sahiptir. Bunların çoğu, en azından veri öğelerinin kendilerinin depolanmasını gerektirir; bu, küçük tam sayılar için az sayıda bitten, dizeler için olduğu gibi rastgele bit sayısına kadar herhangi bir yerde gerektirebilir (denemeler bir istisnadır, çünkü depolamayı aralarında paylaşabilirler. eşit öneklere sahip öğeler). Bağlantılı yapılar, işaretçiler için ek bir doğrusal uzay yüküne neden olur. Öte yandan,% 1 hataya ve optimum k değerine sahip bir Bloom filtresi, öğelerin boyutuna bakılmaksızın öğe başına yalnızca yaklaşık 9,6 bit gerektirir. Bu avantaj kısmen dizilerden miras alınan kompaktlığından gelir, ve kısmen olasılıklı doğasından. % 1'lik bir yanlış pozitif oranı çok yüksek görünüyorsa, eleman başına yaklaşık 4,8 bit eklediğimizde bunu on kat azaltırız.

Bana oldukça açık.

Bir çiçeklenme filtresi öğelerin kendisini saklamaz, önemli nokta budur. Bir eleman varsa, bunu kesinlikle olsun testine için kullanabilirsiniz testine bir çiçek filtresi kullanmayın değil hiçbir yanlış negatif garanti beri mevcut. Bu, bir sette bulunmayan öğeler için fazladan iş yapmanıza izin vermez (örneğin, onları aramak için disk GÇ'si).

Ve hepsi bir karma tablo gibi bir şeyden önemli ölçüde daha az alanda (büyük olasılıkla büyük veri kümeleri için kısmen diskte olacaktır). Karma tablo gibi bir yapıyla birlikte çiçeklenme filtresi kullanabilirsiniz , ancak öğenin mevcut olma şansının olduğundan emin olduğunuzda.

Dolayısıyla, örnek bir kullanım modeli şöyle olabilir:

Diskte çok fazla veri var - m'nin değerini belirleyen hangi hata sınırını istediğinize (örneğin% 1) karar verirsiniz . Daha sonra optimal k belirlenir (makalede verilen formülden). Filtrenizi bu diske bağlı verilerden bir kez doldurursunuz.

Artık RAM'de filtre var. Bir öğeyi işlemeniz gerektiğinde, veri kümenizde var olma şansı olup olmadığını görmek için filtrenizi sorgularsınız. Olmazsa, fazladan iş yapılmaz. Disk okuma, vb. Yok (Bir karma veya ağaç olsaydı yapmanız gereken, vb.).

Aksi takdirde, filtre "Evet, içeride" diyorsa, yanlış olma ihtimali% 1'dir, bu nedenle öğrenmek için gerekli işi yaparsınız. Zamanın% 99'u, gerçekten orada olacak , bu yüzden iş boşuna değildi.

Alex bunu oldukça iyi açıkladı. Hala tam olarak kavrayamayanlar için, umarım bu örnek anlamanıza yardımcı olur:

Diyelim ki Chrome ekibinde Google için çalışıyorum ve tarayıcıya, girdiği url'nin kötü niyetli bir URL olup olmadığını bildiren bir özellik eklemek istiyorum. Bu yüzden yaklaşık 1 milyon kötü amaçlı URL'den oluşan bir veri kümem var ve bu dosyanın boyutu yaklaşık 25MB. Boyut oldukça büyük olduğu için (tarayıcının kendisinin boyutuna kıyasla büyük), bu verileri uzak bir sunucuda depoluyorum.

Durum 1: Karma tablo ile bir karma işlevi kullanıyorum. Verimli bir hashing fonksiyonuna karar veriyorum ve hash anahtarları almak için hashing fonksiyonu aracılığıyla 1 milyon url'nin tamamını çalıştırıyorum. Daha sonra, hash anahtarının bana bu URL'yi yerleştirmek için dizini vereceği bir karma tablo (bir dizi) oluşturuyorum. Şimdi, hashing tablosunu bir kez karma haline getirip doldurduktan sonra, boyutunu kontrol ediyorum. 1 milyon URL’yi anahtarlarıyla birlikte hash tablosunda sakladım. Yani boyut en az 25 MB. Bu karma tablo, boyutu nedeniyle uzak bir sunucuda saklanacaktır. Bir kullanıcı gelip adres çubuğuna bir URL girdiğinde, kötü amaçlı olup olmadığını kontrol etmem gerekiyor. Bu yüzden URL'yi hash fonksiyonu aracılığıyla çalıştırıyorum (tarayıcının kendisi bunu yapabilir) ve bu URL için bir hash anahtarı alıyorum. Şimdi uzak sunucuma bu hash anahtarıyla bir istekte bulunmam gerekiyor, hash tablomdaki belirli URL’nin bu anahtarla kullanıcının girdiği URL ile aynı olup olmadığını kontrol etmek için. Eğer evet ise kötü niyetli, hayır ise kötü niyetli değil. Bu nedenle, kullanıcı bir URL'yi her girdiğinde, kötü amaçlı bir URL olup olmadığını kontrol etmek için uzak sunucuya bir istek yapılması gerekir. Bu çok zaman alır ve bu nedenle tarayıcımı yavaşlatır.

Durum 2: Çiçeklenme filtresi kullanıyorum. 1 milyon URL'nin tamamı, çoklu karma işlevler kullanılarak çiçek filtresinden geçirilir ve ilgili konumlar, büyük bir 0'lar dizisinde 1 olarak işaretlenir. Çiçeklenme filtresi hesaplayıcısı kullanarak% 1'lik bir yanlış pozitif oranı istediğimizi varsayalım ( http://hur.st/bloomfilter?n=1000000&p=0.01), gerekli olan çiçeklenme filtresinin boyutunu yalnızca 1,13 MB olarak alıyoruz. Dizinin boyutu çok büyük olmasına rağmen, hash tablosundaki gibi URL'leri değil, yalnızca 1'leri veya 0ları depoladığımız için bu küçük boyut beklenir.Bu dizi bir bit dizisi olarak değerlendirilebilir. Yani, sadece 1 ve 0 değerimiz olduğu için, bayt yerine ayrı bitler ayarlayabiliriz. Bu, kaplanan alanı 8 kat azaltacaktır. Bu 1,13 MB çiçeklenme filtresi, küçük boyutu nedeniyle web tarayıcısında saklanabilir !! Bu nedenle, bir kullanıcı gelip bir URL girdiğinde, gerekli hash işlevlerini (tarayıcının kendisinde) uygularız ve çiçek filtresindeki (tarayıcıda saklanan) tüm konumları kontrol ederiz. Konumların herhangi birinde 0 değeri bize bu URL'nin KESİNLİKLE kötü amaçlı URL'ler listesinde OLMADIĞINI ve kullanıcının serbestçe ilerleyebileceğini söyler. Böylece sunucuya bir çağrı yapmadık ve dolayısıyla zamandan tasarruf ettik. 1 değeri bize URL'nin kötü amaçlı URL'ler listesinde OLABİLECEĞİNİ söyler. Bu durumlarda, uzak sunucuya bir çağrı yaparız ve orada, URL'nin gerçekten mevcut olup olmadığını almak ve kontrol etmek için ilk durumda olduğu gibi bazı hash tablolarıyla birlikte başka bir hash işlevi kullanabiliriz. Çoğu zaman, bir URL'nin kötü niyetli olma olasılığı bulunmadığından, tarayıcıdaki küçük çiçeklenme filtresi bunu anlar ve bu nedenle uzak sunucuya yapılan çağrılardan kaçınarak zaman kazandırır. Yalnızca bazı durumlarda, eğer çiçeklenme filtresi bize URL’nin kötü niyetli olabileceğini söylerse, yalnızca bu durumlarda sunucuya bir çağrı yaparız. Bu 'MIGHT'% 99 doğru. Bu durumlarda, uzak sunucuya bir çağrı yaparız ve orada, URL'nin gerçekten mevcut olup olmadığını almak ve kontrol etmek için ilk durumda olduğu gibi bazı hash tablolarıyla birlikte başka bir hash işlevi kullanabiliriz. Çoğu zaman, bir URL'nin kötü niyetli olma olasılığı bulunmadığından, tarayıcıdaki küçük çiçeklenme filtresi bunu anlar ve bu nedenle uzak sunucuya yapılan çağrılardan kaçınarak zaman kazandırır. Yalnızca bazı durumlarda, eğer çiçeklenme filtresi bize URL’nin kötü niyetli olabileceğini söylerse, yalnızca bu durumlarda sunucuya bir çağrı yaparız. Bu 'MIGHT'% 99 doğru. Bu durumlarda, uzak sunucuya bir çağrı yaparız ve orada, URL'nin gerçekten mevcut olup olmadığını almak ve kontrol etmek için ilk durumda olduğu gibi bazı hash tablolarıyla birlikte başka bir hash işlevi kullanabiliriz. Çoğu zaman, bir URL'nin kötü niyetli olma olasılığı bulunmadığından, tarayıcıdaki küçük çiçeklenme filtresi bunu anlar ve bu nedenle uzak sunucuya yapılan çağrılardan kaçınarak zaman kazandırır. Yalnızca bazı durumlarda, eğer çiçeklenme filtresi bize URL’nin kötü niyetli olabileceğini söylerse, yalnızca bu durumlarda sunucuya bir çağrı yaparız. Bu 'MIGHT'% 99 doğru. tarayıcıdaki küçük çiçeklenme filtresi bunu belirler ve böylece uzak sunucuya yapılan çağrılardan kaçınarak zamandan tasarruf sağlar. Yalnızca bazı durumlarda, eğer çiçeklenme filtresi bize URL’nin kötü niyetli olabileceğini söylerse, yalnızca bu durumlarda sunucuya bir çağrı yaparız. Bu 'MIGHT'% 99 doğru. tarayıcıdaki küçük çiçeklenme filtresi bunu belirler ve böylece uzak sunucuya yapılan çağrılardan kaçınarak zamandan tasarruf sağlar. Yalnızca bazı durumlarda, eğer çiçeklenme filtresi bize URL’nin kötü niyetli olabileceğini söylerse, yalnızca bu durumlarda sunucuya bir çağrı yaparız. Bu 'MIGHT'% 99 doğru.

Bu nedenle, tarayıcıda küçük bir çiçeklenme filtresi kullanarak, girilen her URL için sunucu çağrıları yapmamıza gerek olmadığından çok zaman kazandık.

Tek bir hash işlevine sahip karma tablonun bir çiçek filtresinden tamamen farklı bir amaç için kullanıldığını görebiliriz. Umarım bu şüphelerinizi giderir :)

düzenle :

Python'da kötü amaçlı URL testi görevi için bir çiçeklenme filtresi uyguladım. Kod burada bulunabilir - https://github.com/tarunsharma1/Bloom-Filter Kodun anlaşılması çok basittir ve benioku dosyasında ayrıntılı bir açıklama sağlanır.

Çiçek filtresinin ne olduğunu, neyi yapıp neyi yapamayacağını, neden ihtiyacımız olduğunu, nasıl çalıştığını sezgisel bir tanımla ve daha sonra yararlı olabilecekleri zaman bazı örneklerle başlayacağım.

Bir Yani standart çiçek filtresi bir olan olasılık veri yapısı olduğunu can ^* :

• bir kümeye öğe ekle
• definitely not in the setveya söyleyerek bir elemanın kümede olup olmadığını kontrol edinpossibly in the set

Bu possibly in the settam olarak olasılık denir nedeni budur. Akıllı kelimeler kullanmak, yanlış pozitifin mümkün olduğu (yanlış bir şekilde elementin pozitif olduğunu düşündüğü durumlar olabilir), ancak yanlış negatifin imkansız olduğu anlamına gelir.

Ama yapamaz ^* :

• setten bir öğe çıkarmak
• size şu anda kümenizde bulunan tüm öğelerin bir listesini verir

^* _{Bu can / can't seti temel bir çiçeklenme filtresi içindir. Uzun zaman önce oluşturulmuş kullanışlı bir veri yapısı olduğu için insanlar onu diğer kullanışlı özelliklerle nasıl artıracaklarını buldular .}

Ama bir dakika bekleyin: Tüm bunları belirsiz 'mümkün' olmadan ve ayrıca tüm sınırlamalar olmadan (kaldıramaz, tümünü gösteremez) yanıtlayabilecek bir veri yapısı biliyoruz. Ve buna set denir . Ve burada bir çiçek filtresinin ana avantajı geliyor: alan verimli ve sabit alan .

Bu, orada kaç öğe sakladığımızın önemi yok, alanın aynı olacağı anlamına gelir. Evet, 10^6öğelere sahip bir çiçeklenme filtresi (işe yaramaz çiçeklenme filtresi), öğeler içeren bir çiçek filtresiyle aynı miktarda alan ve 10^20öğeler içeren çiçeklenme filtresiyle aynı alanı kaplar 0. Peki ne kadar yer kaplayacak? Karar vermek size kalmış (ancak bir ticaret var: ne kadar çok öğeye sahip olursanız, possible in the setyanıta o kadar belirsiz olursunuz .

Bir başka harika şey de uzay sabiti olmasıdır. Verileri bir kümeye kaydettiğinizde, bu verileri gerçekten kaydetmeniz gerekir. Yani depolarsanız this long string in the seten az 27 bayt alan kullanmanız gerekir. Ancak% 1'lik bir hata ve optimal bir k ^** değeri için, herhangi bir öğe için ~ 9,6 bite (<2 bayt) ihtiyacınız olacaktır (ister kısa int ister büyük bir metin duvarı olsun).

Diğer bir özellik, tüm işlemlerin sabit zaman almasıdır; bu, setler durumunda amortize edilmiş sabit zamanla kesinlikle aynı değildir (sette çarpışmalar varsa, O(n)zamanla bozulabileceğini unutmayın ).

^** _{k, çiçek filtresinde kullanılan hash fonksiyonlarının bir değeridir}

Çiçek filtrelerinin nasıl çalıştığını açıklamayacağım (wikipedia makalesi her şeyi açıklamak için çok iyi bir iş çıkarıyor). Burada kısaca temelleri anlatacağım.

• boş bir bit uzunluk dizisi başlatırsınız m
• kfarklı hash fonksiyonları seçersiniz (ne kadar bağımsız olursa o kadar iyidir)
• Eleman eklemek isterseniz k, bu değerin tüm karmalarını hesaplar ve karşılık gelen bitleri 1'e ayarlarsınız.
• Eğer elemanın var olup olmadığını kontrol etmek isterseniz, tüm khash'leri de hesaplarsınız ve bunlardan en az biri ayarlanmadıysa, kesinlikle sette değildir. Aksi takdirde sette olabilir.

Bu açıklama bile neden emin olamadığımızı anlamak için yeterlidir (tüm bitleri çeşitli diğer değerlerden alabilirsiniz). İşte nasıl çalıştığına dair çok güzel bir görsel .

Peki, çiçek filtreleri ne zaman faydalı olabilir? Kısa cevap, yanlış pozitifin kabul edilebilir olduğu ve sette bir şey olup olmadığını kontrol etmek isteyeceğiniz her yerdedir , ancak olmasalar bile, doğrulayıcılara yapılan pahalı çağrıları ekarte etmek için ilk savunma hattı olabilir.

İşte daha somut açıklamaların bir listesi:

• kötü amaçlı web sitelerinin standart bir örneği ve bir tarayıcı , insanların çiçek filtrelerinden bahsettiği hemen hemen her yerde açıklanmaktadır.
• zayıf bir şifredir: Olası tüm zayıf şifrelerin büyük bir kümesine sahip olmak yerine, şifrenin kesinlikle zayıf olup olmadığını kontrol edebilirsiniz.
• Bir makale listeniz ve bir kullanıcı listeniz varsa, kullanıcıların okumadıkları makaleleri göstermek için çiçek filtresini kullanabilirsiniz. İlginç olan, yalnızca bir filtrenizin olabilmesidir (user_id + article_id kombinasyonunun orada olup olmadığını kontrol edersiniz)
• bitcoin , cüzdan senkronizasyonu için çiçeklenme filtresini kullanır
• Akamai'nin web sunucuları, "tek vuruş harikalarının" disk önbelleklerinde saklanmasını önlemek için Bloom filtrelerini kullanır. Bir vuruş harikası, kullanıcılar tarafından yalnızca bir kez talep edilen web nesneleridir ve Akamai'nin bulduğu bir şey, önbellek altyapılarının neredeyse dörtte üçü için geçerlidir. Bir web nesnesi için ikinci isteği tespit etmek için bir Bloom filtresi kullanmak ve bu nesneyi yalnızca ikinci isteğinde önbelleğe almak, tek vuruşlu harikaların disk önbelleğine girmesini engeller, disk iş yükünü önemli ölçüde azaltır ve disk önbelleği isabet oranlarını artırır (bloom filtresindeki örneklerden alınmıştır) wiki'deki makale)

Bloom filtreleri biyoinformatikte oldukça kullanışlıdır. Normal bir hash kullanmaya kıyasla daha fazla alan verimli olabilirler, özellikle birlikte çalıştığınız dizelerin boyutu çok küçük bir alfabeye sahip yüz milyonlarca harf, yani {A, G, T, C} olduğunda. Genellikle belirli bir k-mer'in bir genomda var olup olmadığını değerlendirmek için kullanılırlar. Burada alakalı bir şey için kullanılan bir örnek var .

DÜZENLE:

Yanlış pozitifleri en aza indirmek için çoklu hash fonksiyonları kullanılır. Umut, tüm k-hash fonksiyonları arasında, her bir değerin, diğer tüm olası değere kıyasla bit dizisinde benzersiz bir imzaya sahip olmasıdır. Bununla birlikte, yanlış pozitifler vardır, ancak yönetilebilir bir düzeye indirilebilirler. Bu tekniği kullanarak öğeleri boyutlarından bağımsız olarak hash edersiniz . Bunları aradığınızda, her bir hash işlevini kullanırsınız ve bit değerlerinin hepsinin 1 olduğundan emin olun.

Bunu, elementin boyutundaki artışın karma tablonun boyutunu önemli ölçüde artırdığı insan genomuyla karşılaştırın (Tablo boyutu 4 * 4 ^k'dir ). Bu, öğeleri 2 bit / harf kullanarak kodladığınızı varsayar.

Bloom filtresi, bir öğenin setin üyesi olduğunu döndürürse, belirli bir yanlış pozitif olasılığı vardır. Kümedeki üyeliği belirtmek için yalnızca tek bir karma işlevi kullanılmışsa, yanlış pozitif olma olasılığı, birden çok karma işlevi kullanmaktan daha yüksek olacaktır.