Bir çiçek filtresinin yaklaşık popülasyonunu hesaplama

12

Filtrenin M-bitlerinin (M <= N) ayarlandığı N-bit ve K hash fonksiyonları boyutlarında bir çiçek filtresi verilir.

Bloom filtresine yerleştirilen elemanların sayısına yaklaşmak mümkün mü?

Basit Örnek

10 bitlik ayarlanmış 100 bitlik ve 5 karma işlevli bir BF varsayarak, aşağıdaki örnek üzerinde mulling yapıyorum ...

En iyi durum senaryosu: Karma işlevlerinin gerçekten mükemmel olduğunu ve bazı X sayısı değerleri için biraz eşleştirildiğini varsayarsak, 10 bit verildiğinde, BF'ye yalnızca 2 öğe eklendiğini söyleyebiliriz

En kötü senaryo: Karma işlevlerinin kötü olduğu ve tutarlı olarak aynı bitle eşleştiği (ancak birbirlerinin arasında benzersiz) olduğu varsayılarak, BF'ye 10 öğenin eklendiğini söyleyebiliriz

Aralık [2,10] gibi görünüyor, bu aralıktaki yaklaşıklar muhtemelen filtrenin yanlış pozitif olasılığı ile belirlenir - Ben bu noktada takılı kaldım.

ds.data-structures pr.probability

— Tander Kulip
kaynak

4

Neden eklenen eleman sayısının bir sayacını tutmuyorsunuz?

eleman eklediyseniz, yalnızca ek bir

biti alır .

O (\log n)

$O(\log n)$

n

$n$

— Joe

@Joe, bu iyi bir fikir olsa da, gerçekten ilginç bir soruyu mahvediyor.

— dan_waterworth

Yinelenen kayıtlarda, Joe'nun yönteminde küçük bir hata olacağına dikkat çekeriz, çünkü zaten mevcut olup olmadığını bir öğe eklerken her zaman emin olamayız (ve dolayısıyla sayıyı artırıp artırmamalıyız).

— usul

5

Evet. Gönderen Vikipedi :

Eğer takılı varsa boyutu bir filtreye elemanları kullanarak hash fonksiyonları, olasılık belli Bit 0 hala edilir olduğunu $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

Sen olabilir ölçmek filtrenizde 0 bit oranı olarak bu olasılık. verir için çözme $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

Bunu pratikte kullandım ve filtreniz kapasitesini aşmadığı sürece, milyonlarca bite kadar filtreler için hata genellikle% 0.1'den azdır. Filtre kapasitesini aştıkça, hata elbette artar.

— Jay Hacker
kaynak

3

Her nesne için her karma işlevi için, bir bitin rasgele bir şekilde ayarlandığını ve ayarlanan bitlerin sayısını sayarsanız, eklenen nesne sayısının olasılığını sınırlayabilmeniz gerekir. Belli bir aralıkta, belki bir top ve kutu formülasyonu kullanarak Her bit bir bölmedir ve içinde en az 1 top varsa ayarlanır, eklenen her nesne topu atar , burada karma işlevlerinin sayısıdır ve , nesne yerleştirildikten sonra atılan top sayısıdır. . Göz önüne alındığında kutuları en azından olasılık nedir, onlara en az 1 balo topları atıldı? Bence burada şu gerçeği kullanabilirsiniz: $k$ $k$ $nk$ $n$ $b$ $t$ Ancak bu formülasyondaki sorun yi hesaplamak için basit bir yol ya da , ancakbu olasılığı en üst düzeye çıkaran değerini bulmakçok zor olmamalıdır.

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— Joe
kaynak

2

İlginç bir soru, bazı özel durumlara bakalım.

Söz konusu olsun anahtarlar, bitler, ve toplam bitleri yerleştirilmiş elemanlar. İlk olarak , bir durumun meydana gelme olasılığı olan bir fonksiyonu bulmaya çalışacağız . $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

$km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

$n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

$n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

$1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

Sanırım bunu şimdi genelleştirebiliriz.

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

Bu formülü hesaplamaya nasıl daha uygun hale getireceğimden tam olarak emin değilim. Saf bir şekilde uygulandığında, doğrusal zamana ulaşmak için hatırlatma yoluyla önemsiz olsa da, üstel zaman yürütme süresi ile sonuçlanacaktır. O zaman sadece en olası bulma örneğidir . İçgüdüm, tek bir zirve olacağını söylüyor, bu yüzden onu çok hızlı bir şekilde bulmak mümkün olabilir, ama safça, en olası m'yi içinde kesinlikle bulabilirsiniz . $m$ $O(n^2)$

— dan_waterworth
kaynak

Formülünüzün için iptal ettiğini düşünüyorum (sabit faktörleri göz ardı ederek). Bunun maksimumunu analitik olarak hesaplayabilirsiniz: ikinci terimin ilk faktörünü genişletebilir ve hepsinden kurtulmak için sabit faktörleri kaldırabilirsiniz ve daha sonra formülünüz çok basit hale gelir.

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— Jules

@Jules, harika, böyle bir şeyin olacağından emindim, ama anlayacak zamanım yoktu.

— dan_waterworth

Bu formüle doğrudan şu şekilde de ulaşabilirsiniz: . Ardından için .

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— Jules

2

Karmaların eşit dağıldığını varsayın.

Let eklenen karma sayısı olabilir. Elimizdeki bu yana içine sağlamalarının kutuları biz varsa içine karmaları kutuları ve sonraki karma onlardan biri girer dışına kutuları VEYA biz varsa içine karmaları kutuları ve sonraki karma gider diğer kutularından birine, $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

yeniden Yazma:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

Ayrıca olduğunda ve ve olduğunda . Bu, P'yi hesaplamak için bir dinamik programlama algoritması verir. değerini en üst düzeye çıkaran hesaplanması size maksimum olasılık tahmini verir. $P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$

Bu çiçeklenme filtresine kez katıldığımızı ve öğe başına hash'imiz olduğunu biliyorsanız, öğe sayısı . $i$ $k$ $i/k$

Hızlandırmak için birkaç şey yapabilirsiniz. faktörü , maksimum konumunu değiştirmediği için dışarıda bırakılabilir. (Asimptotik) çalışma süresini olarak azaltmak için dinamik programlama tablolarını birden fazla çağrısıyla paylaşabilirsiniz . Tek bir maksimum olduğuna inanmaya istekliyseniz, yinelemeyi üzerinde erken durdurabilir ve çalışma süresi ; burada , maksimum aldığı noktadır , hatta ikili bir arama yapabilir ve . $\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— Jules
kaynak

2

Anahtar fikir, sıfır bit sayısının beklentisini tahmin etmektir.

Her bit için, K hash işlevlerine sahip t ekleme işlemlerinden sonra sıfır olma olasılığı: . $(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

O zaman sıfır bit sayı beklentisi şöyle olmalıdır:

$N e^{-\frac{Kt}{N}}$ gözlemiyle yaklaşık $N - M$

Sonunda aldık $t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Yanghong Zhong
kaynak

1

N eklemeden sonra belirli bir bitin 1 olması olasılığı: P = 1 - (1 - 1 / m) ^ (kn)

X_i, i'th konumundaki bit 1 ve 0 ise 1 olan ayrık rasgele bir değişken olsun. X = X_1 + X_2 + .... + X_m olsun. Sonra, E [X] = m * P.

Toplam set biti sayısı S ise, o zaman: m [P] S anlamına gelen E [X] = S. Bu n için çözülebilir.

— Nikhil
kaynak