Büyük miktarda veri üzerinde çalışan algoritmaları sıralama

Büyük miktarda veri üzerinde çalışabilen, yani tüm veri seti aynı anda ana bellekte tutulamadığında bile çalışabilen sıralama algoritmaları arıyorum.

Şimdiye kadar bulduğum tek aday birleştirme sıralamasıdır: algoritmayı, tüm verileri bir kerede ana bellekte tutmadan her bir birleştirme sırasında veri kümenizi tarayacak şekilde uygulayabilirsiniz. Aklımda olan birleştirme sıralaması varyasyonu Bu makalede Teyp sürücüleri ile kullanma bölümünde açıklanmaktadır .

Bu iyi bir çözüm olduğunu düşünüyorum (karmaşıklık O (nx log (n)) ile ama ana belleğe sığmayan büyük veri kümeleri üzerinde çalışabilecek başka (muhtemelen daha hızlı) sıralama algoritmaları olup olmadığını bilmek merak ediyorum.

DÜZENLE

Yanıtların gerektirdiği gibi bazı ayrıntılar:

• Verilerin periyodik olarak, örneğin ayda bir kez sıralanması gerekir. Birkaç kayıt eklemek ve veri kademeli olarak sıralanmış olması gerekmez.
• Örnek metin dosyam yaklaşık 1 GB UTF-8 metnidir, ancak dosya 20 GB olsa bile sorunu genel olarak çözmek istedim.
• Veritabanında değildir ve diğer kısıtlamalar nedeniyle olamaz.
• Veriler başkaları tarafından bir metin dosyası olarak dökülür, bu metin dosyasını okumak için kendi kodum var.
• Verilerin formatı bir metin dosyasıdır: yeni satır karakterleri kayıt ayraçlarıdır.

Aklıma gelen olası bir gelişme, dosyayı bellekte sıralanacak kadar küçük dosyalara bölmek ve son olarak yukarıda açıkladığım algoritmayı kullanarak tüm bu dosyaları birleştirmekti.

Sıralama ve arama ile ilgili kanonik referans Knuth, Vol. 3 . Oradan başlayın.

Kitap başlangıçta bilgisayarlar şimdi olduğundan çok daha küçük ve yavaş olduğunda geri yazılmıştır, bu da bellek dışı sıralama tekniklerini bugün algılandığından daha önemli hale getirmiştir.

UNIX sortkomutundaki gibi harici R-Way birleştirme iyi bir alternatiftir. Formülasyonunuzdan, "birleştirme sıralaması" ile kastedilen algoritma olup olmadığından emin değilim ve bilmiyorsanız, bir göz atın.

Daha fazla özellik olmadan "Merge Sort" muhtemelen alacağınız en iyi cevaptır, ancak gereksinimlerinize bağlı olarak daha akıllı bir şey uygulayabilirsiniz.

Örneğin, dosyanın bir bellek içi dizinini oluşturabilir, ardından tüm değerleri aynı anda kopyalayıp çeşitli anahtar değerlerin konumunu önbelleğe alabilir misiniz? 1/2 bir kerede belleğe sığar mı, yoksa 1/1000000 mü? Eğer ikinciyse, o zaman belleğe bir dizin sığdıramayabilirsiniz, ilki her iki yarıyı da daha verimli bir şekilde sıralayabilir ve ardından son bir adımda birleştirebilirsiniz.

Cehennem, belirtmediniz çünkü verilerinizin bir veritabanında olması mümkündür, eğer öyleyse sadece bir dizin tablosu oluşturabilir ve iyi çağırabilirsiniz (sanırım durum böyle değil, ama sadece durumunuz böyle karmaşık bir sorunu çözmek için kritik öneme sahiptir).

Sadece bir kez yapmak istiyorsanız ve çok hızlı bir kesmek istiyorsanız, unix çalıştırıyorsanız harici birleştirme sıralaması iyi bir başlangıç ​​gibi görünüyor (görünüşte yerleşik olduğu için)

Düzeni saklamanız gerekiyorsa ve her zaman tek bir kayıt ekliyorsanız, bir ekleme sıralaması gerekli olacaktır (Sıralanan verilere tek bir kayıt eklemek her zaman bir ekleme sıralamasıdır).

Verileri "Okuyan" kodu kontrol edebilir misiniz? Eğer öyleyse, birçok indeksleme biçimi (verileri diskte hareket ettirerek sıralamak yerine) A LOT'a yardımcı olacaktır (aslında mutlak bir gereklilik olacaktır).

Yani:

• Yerinde mi yoksa birden çok dosyada mı?
• Bir kerelik, periyodik veya her zaman sıralanmış olarak tutmak?
• Bellekten ne kadar büyük (Veri kümesinin tamamından kaç bellek yükü geçecek)?
• Veritabanında mı? Olabilir mi?
• Verileri okuyan kodu kontrol ediyor musunuz, yoksa diğerleri doğrudan bir dosyayı boşaltıyor mu?
• Dosya formatı? (Metin? Sabit kayıt?)
• Sormadığım başka özel durumlar var mı?

Gerçekten ölçeklenebilir bir çözüm istiyorsanız, map-reduce ile standart sıralama uygulaması TeraSort'a göz atmalısınız; StackOverflow hakkında daha fazla bilgi .

Bir kova türüyle ilgileniyor olabilirsiniz . Ortalama vaka performansı doğrusal süredir.

= O (n + d) n: elemanların sayısı ve d = verileriniz hakkında bir sezginiz varsa, yani en büyük sayının uzunluğu. Eğer kaç 'basamak' uzunluğunu biliyorsanız en büyük rakamınızdır. 2 milyon 6 basamaklı numaranız varsa => 0 (n) böylece doğrusal.

(Veri sürekli varsa) dış birleştirme sıralaması algoritması kullanarak, ya da bir paket sıralama ile sıralama sayımı (veri kesikli ve eşit dağılmış ise) kovalar için sıralama bir uygulama olarak.

Muhtemelen en iyi yaklaşım, artış küçükse kendi dizin / eşleme dosyanızı oluşturmaktır.

1. Bir şekilde "veritabanınızı" sipariş edin
2. Her girişe bir tamsayı atayın (1, 2, 3, 4, ..., n) (daha iyi: bazı seyrek dizinler kullanın)
3. Bir artış eklerken, sol sayının daha az veya eşit olduğu ve doğru sayının daha büyük veya eşit olduğu bir boşluk bulun (ikili aramanın değiştirilmiş bazı sürümlerinde zor olmamalıdır)
4. Boşluklar yeterince büyük olsa da ekleyin, değilse: sadece yeniden dizin (bir daha asla sıralamayın) :-)

Sınırlı belleğe sahip tek bir makinede büyük veri sıralama ve arama görevini basitleştirmek için büyük kuyruk ve büyük dizi adı verilen bazı soyut yapılar inşa ettim. Temel olarak, kullanılan algoritma yukarıda bahsettiğiniz algoritmaya benzer - harici birleştirme sıralaması.

Tek bir makinede 9 saatte 128 GB veri (her öğe 100 bayt) sıralayabilir ve sonra sıralı verileri neredeyse hiç zaman harcamadan ikili olarak arayabilirim.

İşte benim açık kaynak büyük kuyruk ve büyük dizi yapıları kullanarak büyük veri arama hakkında bir yazı.