(Ne zaman) karma tablo araması O (1) 'dir?

70

Genellikle karma tablo aramasının sabit bir süre içinde çalıştığı söylenir: dizi araması için bir dizin veren karma değerini hesaplarsınız. Ancak bu çarpışmaları görmezden gelir; En kötü durumda, her madde aynı kovaya iner ve arama süresi doğrusallaşır ( $\Theta(n)$ ).

Veri tablosunda gerçekten araması yapabilen verilerde koşullar var $O(1)$ mı? Bu sadece ortalama mı yoksa bir hash tablosu $O(1)$ en kötü durum arama özelliğine sahip mi?

Not: Burada bir programcının bakış açısından geliyorum; Bir karma tablosunda veri sakladığımda, neredeyse her zaman dizeleri veya bazı bileşik veri yapılarını gösterir ve veriler karma tablosunun ömrü boyunca değişir. Bu yüzden, kusursuz karmaşayla ilgili cevapları takdir ederken, sevimli ama anekdotlar ve benim açımdan pratik değiller.

PS Takibi: Karma tablo işlemleri için ne tür veriler için O (1)?

— Gilles
kaynak

3

itfa edilmiş erişim süresiyle yaşayabilir misiniz ? Genel olarak, hash tablo performansı büyük ölçüde tolere etmeye hazır olduğunuz seyrek hashtables için ne kadar ek yüke ve gerçek hash değerlerinin nasıl dağıldığına bağlı olacaktır.

O (1)

$\cal{O}(1)$

— Raphael

5

Oh, btw: Listeler yerine (dengeli) arama ağaçları kullanarak doğrusal en kötü davranışlardan kaçınabilirsiniz.

— Raphael

1

@Raphael

amortize edildiğinde ve ne zaman yapamayacağımı açıklayabileceğimi (geniş hatlar boyunca) açıklayan bir cevaba çok ilgi duyardım . Karma değerlerin nasıl dağıldığına gelince, bu gerçekten sorumun bir parçası: nasıl bilebilirim? Karma fonksiyonların değerleri iyi dağıtması gerektiğini biliyorum; ama her zaman en kötü durumda olsaydı asla ulaşılmazdı, bu hiç mantıklı gelmiyordu.

O (1)

$O(1)$

— Gilles

1

Ayrıca erken optimizasyona dikkat edin; ufacık (birkaç bin element) veri için sık sık

dengelenmiş ikili ağaçlardan daha düşük ek yük nedeniyle hashforlardan daha iyi performans gösterdiğimi gördüm (dize karşılaştırmaları dize karmalarından çok daha ucuzdur).

O (\log n)

$O(\log n)$

— isturdy

Bu tartışmaya sohbette devam edelim .

— Raphael

41

en kötü durum zamanlarında elde edebileceğiniz iki ayar vardır . $O(1)$

Eğer kurulumunuz statikse, FKS hash, en kötü durumda garantisini alır. Ancak belirttiğiniz gibi, ayarınız statik değil. $O(1)$
Cuckoo karma kullanıyorsanız, sorgular ve silme işlemleri en kötü durumudur, ancak ekleme yalnızca beklenir. Toplam kesici uç sayısını üste bağladıysanız ve toplam boyutunda kabaca% 25 daha büyük olacak şekilde ayarladıysanız guguk karmaşası oldukça iyi çalışır. $O(1)$ $O(1)$

Burada daha fazla bilgi var .

— Suresh
kaynak

3

FKS ve Cuckoo’da genişleyebilir misiniz? Her iki terim de benim için yeni.

— Gilles

1

Peki ya dinamik mükemmel karma? Bu sahip

, en kötü durum aramaları ve

yerleştirilmesini ve silme itfa. ( citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.30.8165 )

O (1)

$O(1)$

O (1)

$O(1)$

— Joe

2

FKS (Fredman, Komlós, Szemerédi) 'nin baş harfleridir ve Cuckoo bir köprü türünün adıdır. Bu tür bir karmaşa için kullanılır, çünkü guguklu civcivler kardeşleri yumurtalarını yuvadan iterler. Bu biraz bu hasing metodunun nasıl çalıştığını andırıyor.

— uli

1

@Suresh: Gerçekten mi? İhtiyacın düşünce

hep ihtiyacı genişleticiler ile ilişkili-bağımsız fonksiyonları. Düzeltilmiş duruyorum. Yorumumu biraz silecek.

\log n

$\log n$

— Louis

1

@Suresh'in işaret ettiği gibi, bu cevaba daha faydalı bir yorum yapmak için guguk hash, teorik olarak analiz etmek için kullanılan süslü (ve büyük) hash fonksiyonları olmadan iyi çalışacaktır .

— Louis

21

Bu cevap, TAoCP Cilt 3, Bölüm 6.4'ün bölümlerini özetlemektedir .

Bir değerler kümesi sahip varsayalım , olan bir diziye depolamak istediğiniz boyutu . işlevini kullanırız ; genellikle, . diyoruz $V$ $n$ $A$ $m$ $h : V \to [0..M)$ $M \ll |V|$ yük faktörüarasında. Burada doğal; Pratik senaryolarda, elimizdekiolsa da, ve aşağı harita zorundakendimizi. $\alpha = \frac{n}{m}$ $A$ $m=M$ $m \ll M$ $m$

İlk gözlem, üniform özelliklere sahip olsa bile ¹ aynı karma değere sahip iki değerin olasılığının yüksek olduğu; Bu aslında rezil doğum günü paradoksunun bir örneğidir . Bu nedenle, genellikle çatışmalarla uğraşmak zorunda kalacağız ve en kötü vaka erişim zamanı umudunu bırakabiliriz . $h$ $\mathcal{O}(1)$

Peki ya ortalama durum? den gelen her tuşun aynı olasılıkta gerçekleştiğini varsayalım . Ortalama kontrol edilen giriş sayısı (başarılı arama) (başarısız arama) kullanılan çakışma çözünürlüğü yöntemine bağlıdır. $[0..M)$ $C_n^S$ $C_n^U$

zincirleme

Her dizi girişi, bağlı listelerden birini (başında işaretçi) içerir. Beklenen liste uzunluğu küçük olduğundan bu iyi bir fikirdir ( ) Çarpışma olasılığı yüksek olsa da. Sonunda, elde $\frac{n}{m}$ Bu, listeleri (kısmen ya da tamamen) masanın içine depolayarak biraz geliştirilebilir.

C_{n}^{S} \approx 1 + \frac{α}{2} and C_{n}^{U} \approx 1 + \frac{α^{2}}{2} .

$C_n^S \approx 1 + \frac{\alpha}{2} \quad \text{ and } \quad C_n^U \approx 1 + \frac{\alpha^2}{2} .$

Doğrusal Sondalama

girerken (bir değeri ararken) , boş bir konuma (cevap verene kadar) bu sırayla konumlarını kontrol edin. . ) söz konusu olmaktadır. Bunun avantajı, yerel olarak ve ikincil veri yapıları olmadan çalışmamızdır; ancak, ortalama erişim sayısı için farklılıklar gösterir : $v$

h (v), h (v) - 1, \dots, 0, m - 1, \dots, h (v) + 1

$h(v), h(v)-1,\dots,0,m-1,\dots,h(v)+1$

v

$v$

α \to 1

$\alpha \to 1$

İçin

, ancak, performans chaining² karşılaştırılabilir.

C_{n}^{S} \approx \frac{1}{2} (1 + \frac{1}{1 - α}) and C_{n}^{U} \approx \frac{1}{2} (1 + {(\frac{1}{1 - α})}^{2}) .

$C_n^S \approx \frac{1}{2}\left(1 +\frac{1}{1-\alpha}\right) \quad \text{ and } \quad C_n^U \approx \frac{1}{2}\left(1 +\left(\frac{1}{1-\alpha}\right)^2\right).$

α < 0.75

$\alpha < 0.75$

Çift karma

Doğrusal sondama benzer, ancak arama adımı boyutu, kopyalanan ikinci bir karma işlevi tarafından kontrol edilir . Hiçbir resmi türetme verilen ancak ampirik gözlemler olduğunu $M$ Bu yöntem Brent tarafından uyarlanmıştır; onun değişken amortismanları, daha ucuz aramalarla artan ekleme maliyetlerini içerir.

C_{n}^{S} \approx \frac{1}{α} \ln (\frac{1}{1 - α}) and C_{n}^{U} \approx \frac{1}{1 - α} .

$C_n^S \approx \frac{1}{\alpha}\ln\left(\frac{1}{1-\alpha}\right)\quad \text{ and } \quad C_n^U \approx \frac{1}{1-\alpha} .$

Elemanların çıkarılması ve tabloların uzatılması, ilgili yöntemler için farklı zorluk derecelerindedir.

Sonuç olarak, tipik kullanım durumunuza iyi uyan bir uygulama seçmelisiniz. Her zaman garanti edilmezse , de beklenen erişim süresi mümkündür. Kullanılan yönteme bağlı olarak düşük tutulması esastır; Genel giderlere karşı (beklenen) erişim zamanını değiştirmelisin. Açıkçası, için iyi bir seçim de merkezidir. $\mathcal{O}(1)$ $\alpha$ $h$

1] Keyfi olarak ~~aptalca~~ bilgisiz programcılar sağlayabilir , onun kalitesi ile ilgili herhangi bir varsayım pratikte bir gerginliktir. 2] Bunun Java'ların kullanımıyla ilgili önerilere nasıl denk geldiğine dikkat edin . $h$
Hashtable

— Raphael
kaynak

10

$S$ $\{0, 1, 2, ..., n\}$ $O(1)$ $O(1)$ $l$ $S$ $l$ $x$ $x \in S$ $O(|l|)$ $S$ $O(|S|)$ $O(|l| + |S|)$ $O(|l||S|)$ $O(\log(|l|)|S|)$ $O(|l|)$ $l$

$O(|l|)$

$l$ $U \subset \mathbb{N}$ $S \subseteq U$ $x \in S$ $l$ $l$ $h: U \rightarrow \{true, false\}$ $h$ $h(x) = false$ $x \in U$ $y$ $l$ $h(y) = true$ $O(|l|)$ $O(|U|)$

$l$ $O(|U|)$ $O(|1|)$ $O(|U|)$

$U$ $h$

— Patrick87
kaynak

Karma tabloyu oluşturduğunuz kısmı genişletir misiniz

O (| l |)

$O(|l|)$

O (| S |)

$O(|S|)$

O (| l | \cdot | S |)

$O(|l|\cdot|S|)$

h

$h$

h : U \to {f a l s e, t r u e}

$h:U\to\{\mathrm{false},\mathrm{true}\}$

h

$h$

@Gilles Temelde liste üyeliği için bir arama tablosu olarak kullanılıyor. Bilinen ve ucuz bir tersine sahip mükemmel bir karma işleviniz olduğunda, bir şeyin kendisini saklamak yerine, yalnızca 1 bit saklamanız gerekir (benzersiz karma olan eklenmiş olsun). Eğer çarpışmalar mümkün ise, bunu yapmanın bir Bloom filtresi olarak adlandırıldığını düşünüyorum, ancak her durumda, birçok senaryoda hala yararlı olan üyelik sorununa kesin bir "hayır" sağlayabilir.

— Patrick87

9

$\cal{O}(1)$

$\cal{O}(1)$ $\cal{O}(1)$ $\cal{O}(1)$ $\cal{O}(1)$

— Nicholas Meyer
kaynak

Mükemmel bir karma işlevi mükemmel olurdu, ama nasıl bir tane alabilirim? Bana ne kadara mal olacak? Ve maksimum veya beklenen çarpışma sayısının ne olduğunu nasıl bilebilirim?

— Gilles

2

@Gilles, mükemmel bir karma işlevi, tüm olası girişler için benzersiz bir karma üretecek herhangi bir işlevdir. Olası girişleriniz sınırlı (ve benzersiz) ise, bunu yapmak kolaydır.

— Rafe Kettler

1

@RafeKettler Girişlerim tipik olarak dizeler veya bileşik veri yapılarıdır ve verilerim geliştikçe genellikle giriş ekler ve kaldırırım. Bunun için nasıl mükemmel bir karma yapabilirim?

— Gilles

4

Evet, ama mesele bu. Etki alanı aralıktan büyükse deterministik bir mükemmel karma işlevi yoktur.

— Suresh

@Suresh: Herhangi bir çarpışma olduğunda yeni bir karma işlevi seçip tablonun boyutunu büyütmenize izin verilirse, her zaman (deterministik) bir karma işlevini bulabilirsiniz - zaten tablodaki veriler için eklemeye çalıştığınız öğe - çarpışma yok ("mükemmel"). Dinamik mükemmel karmanın periyodik olarak rastgele yeni bir karma işlevi seçmesinin nedeni budur .

— David Cary,