Çok büyük bir dosyada en çok oluşan öğeyi bulma

Bu röportaj sorusunun çok sorduğunu duydum ve iyi cevapların ne olabileceği hakkında bazı fikirler almayı umuyordum: 10+ GB büyük bir dosyanız var ve en çok hangi öğenin en iyi şekilde oluştuğunu öğrenmek istiyorsunuz, iyi bir yol nedir Bunu yapmak için?

Çok fazla bellek kullandığınız için haritayı yinelemek ve izlemek muhtemelen iyi bir fikir değildir ve parçayı girdiler olarak tutmak en iyi seçenek değildir, çünkü bu soru sorulduğunda genellikle dosya zaten vardır.

Diğer düşünceler yinelenecek ve birden çok iş parçacığı tarafından işlenecek dosyayı bölme dahil ve daha sonra bu sonuçları birleştirmek, ama haritalar için bellek sorunu hala orada.

$> 1/k$$O(k)$$O()$. Sorun artık ağır vurucular sorunu olarak biliniyor (sıkça görülen elemanlar ağır vuruculardır).

$> 1/k$$k$

$k = 2$

• dosyanın geçerli öğesi depolanan öğeyle aynıysa, sayımı bir artırın
• dosyanın geçerli öğesi depolanan öğeden farklıysa sayımı bir azaltın
• güncellenen sayım 0 ise, saklanan elemanı "dışarı atın" ve dosyanın geçerli elemanını saklayın; sayımı 1'e çıkar
• dosyanın bir sonraki öğesine ilerle

Bu prosedür hakkında biraz düşünmek, bir "çoğunluk" öğesi, yani zamanın yarısından fazlasında meydana gelen bir öğe varsa, o öğenin tüm dosya işlendikten sonra depolanan öğe olacağına ikna edecektir.

$k$$k-1$$k-1$$k$$k$

$k-1$$1/k$$O(k)$

$k$$1/k$$k-1$

Açık cevap elbette bir karma harita tutmak ve Nejc zaten önerildiği gibi dosya içinde hareket ederken öğelerin oluşumunun bir sayaç depolamaktır. Bu (zaman karmaşıklığı açısından) en uygun çözümdür.

$\Theta(n\log{n}).$

En yaygın öğe, bir sonraki ortak öğeden önemli bir farkla daha yaygınsa ve farklı öğelerin sayısı dosya boyutuna göre azsa, rastgele birkaç öğeyi örnekleyebilir ve örneğinizdeki en yaygın öğeyi döndürebilirsiniz.