İnsanların setpython'daki nesnelerin O (1) üyelik kontrolüne sahip olduğunu söylediğini gördüm . Buna izin vermek için dahili olarak nasıl uygulanırlar? Ne tür bir veri yapısı kullanıyor? Bu uygulamanın başka etkileri nelerdir?
Buradaki her cevap gerçekten aydınlatıcıydı, ama sadece bir tane kabul edebilirim, bu yüzden orijinal soruma en yakın cevabı vereceğim. Bilgi için hepinize teşekkürler!
Yanıtlar:
Bu konuya göre :
Gerçekten de, CPython'un setleri, bu değer eksikliğinden yararlanan bazı optimizasyonlarla, kukla değerlere sahip (anahtarlar kümenin üyesi olan) sözlükler gibi bir şey olarak uygulanır.
Yani temelde bir setveri, altta yatan veri yapısı olarak bir karma kullanılabilir Bu, O (1) üyelik kontrolünü açıklar, çünkü bir hashtable içindeki bir öğeyi aramak ortalama bir O (1) işlemidir.
Çok eğimliyseniz , Achim Domma'ya göre çoğunlukla uygulamadan kes ve yapıştır olan set için CPython kaynak koduna bile göz atabilirsiniz .dict
İnsanlar setlerin O (1) üyelik kontrolüne sahip olduğunu söylediklerinde, ortalama durumdan bahsediyorlar . En kötü durumda (tüm karma değerler çarpıştığında) üyelik denetimi O (n) 'dir. Zaman karmaşıklığı konusunda Python wiki'sine bakın .
Wikipedia makalesi diyor en iyi durumda boyutlandırma olduğunu olmayan bir karma tablo için zaman karmaşıklığı O(1 + k/n). Python kümeleri yeniden boyutlandırılan bir karma tablo kullandığından bu sonuç doğrudan Python kümeleri için geçerli değildir.
Wikipedia makalesinde biraz ilerisinde, için söylüyor ortalama durumda ve zaman karmaşıklığı basit bir üniforma karma işlevi varsayarak O(1/(1-k/n)), k/nbir sabit tarafından sınırlandırılmış olabilir c<1.
Big-O sadece n → ∞ gibi asimtotik davranışı ifade eder. K / n , n'den bağımsız bir sabit ile c <1 ,
O(1/(1-k/n))= O(1/(1-c))ile eşit olandan daha büyük değildir .O(constant)O(1)
Yani tekdüze basit karma varsayım, ortalama olarak , Python setleri için üyelik kontrolüdür O(1).
Bence bu yaygın bir hata, setarama (ya da bu konuda hashtable) O (1) değildir.
Wikipedia'dan
En basit modelde, karma işlevi tamamen belirtilmez ve tablo yeniden boyutlandırılmaz. Karma işlevinin mümkün olan en iyi seçimi için, açık adreslemeli n boyutundaki bir tablonun çarpışması olmaz ve başarılı arama için tek bir karşılaştırma ile n öğeye kadar tutar ve zincirleme ve k tuşlarına sahip n boyutundaki bir tablo minimum maks. (0, kn) çarpışmalar ve O (1 + k / n) araması için karşılaştırmalar. Karma işlevinin en kötü seçimi için, her ekleme bir çarpışmaya neden olur ve karma tablolar doğrusal aramada dejenere olur, ekleme başına Ω (k) amortismanlı karşılaştırmalar ve başarılı bir arama için k'ye kadar karşılaştırmalar.
İlgili: Java hashmap gerçekten O (1) mi?
Hepimiz , önceki yorumun söylediği kaynağa kolay erişebiliriz set_lookkey():
/* set object implementation
Written and maintained by Raymond D. Hettinger <python@rcn.com>
Derived from Lib/sets.py and Objects/dictobject.c.
The basic lookup function used by all operations.
This is based on Algorithm D from Knuth Vol. 3, Sec. 6.4.
The initial probe index is computed as hash mod the table size.
Subsequent probe indices are computed as explained in Objects/dictobject.c.
To improve cache locality, each probe inspects a series of consecutive
nearby entries before moving on to probes elsewhere in memory. This leaves
us with a hybrid of linear probing and open addressing. The linear probing
reduces the cost of hash collisions because consecutive memory accesses
tend to be much cheaper than scattered probes. After LINEAR_PROBES steps,
we then use open addressing with the upper bits from the hash value. This
helps break-up long chains of collisions.
All arithmetic on hash should ignore overflow.
Unlike the dictionary implementation, the lookkey function can return
NULL if the rich comparison returns an error.
*/
...
#ifndef LINEAR_PROBES
#define LINEAR_PROBES 9
#endif
/* This must be >= 1 */
#define PERTURB_SHIFT 5
static setentry *
set_lookkey(PySetObject *so, PyObject *key, Py_hash_t hash)
{
...Biraz arasında daha fazla fark vurgulamak için set'sve dict'sburada, bir alıntıdır setobject.cdicts karşı kümesi en temel fark en netleştirmek açıklama bölümleri.
Setler için kullanım örnekleri, aranan anahtarların bulunma olasılığının yüksek olduğu sözlüklerden oldukça farklıdır. Buna karşılık, kümeler öncelikle bir öğenin varlığının önceden bilinmediği üyelik testleri ile ilgilidir. Buna göre, ayarlanan uygulamanın hem bulunan hem de bulunmayan durum için optimize edilmesi gerekir.
github kaynağı
setuygulama aslında ididictmodel değerlerle ve daha sonra optimize var.