Çok sayıda küçük dosyayı depolamak için en yüksek performanslı Linux dosya sistemi nedir (SSD değil, HDD)?

Birçok küçük dosya ve az sayıda daha büyük dosya içeren bir dizin ağacım var. Bir dosyanın ortalama boyutu yaklaşık 1 kilobayttır. Ağaçta 210158 dosya ve dizin var (bu sayı çalıştırılarak elde edildi find | wc -l).

Dosyaların küçük bir yüzdesi, haftada birkaç kez eklenir / silinir / yeniden yazılır. Bu, küçük dosyalar ve (az sayıda) büyük dosyalar için geçerlidir.

Çalıştığım dosya sistemlerinde (ext4, btrfs) diskteki dosyaların konumlandırılmasında bazı problemler var. Daha uzun bir süre zarfında, diskteki dosyaların fiziksel konumları (sabit disk değil, dönen medya) daha rasgele dağıtılır. Bu rastgele dağıtımın olumsuz sonucu, dosya sisteminin yavaşlamasıdır (örneğin: yeni bir dosya sisteminden 4 kat daha yavaş).

Bu performans düşüşünden etkilenmeyen ve dönen bir ortam üzerinde sabit bir performans profili sağlayabilen bir Linux dosya sistemi (veya bir dosya sistemi bakım yöntemi) var mı? Dosya sistemi Sigorta üzerinde çalışabilir, ancak güvenilir olması gerekir.

Verim

Hangi dosya sisteminin yüz binlerce küçük dosya ile en iyi performansı gösterdiğini bulmak için küçük bir Benchmark ( kaynak ) yazdım :

• / dev / urandom verilerinden 300000 dosya (512B - 1536B) oluşturun
• 30000 rasgele dosyayı yeniden yazmak ve boyutunu değiştirmek
• 30000 sıralı dosyayı oku
• 30000 rastgele dosyayı oku

• tüm dosyaları sil

• Her adımdan sonra önbelleği senkronize et ve bırak

Sonuçlar (saniye cinsinden ortalama süre, daha düşük = daha iyi):

Using Linux Kernel version 3.1.7
Btrfs:
    create:    53 s
    rewrite:    6 s
    read sq:    4 s
    read rn:  312 s
    delete:   373 s

ext4:
    create:    46 s
    rewrite:   18 s
    read sq:   29 s
    read rn:  272 s
    delete:    12 s

ReiserFS:
    create:    62 s
    rewrite:  321 s
    read sq:    6 s
    read rn:  246 s
    delete:    41 s

XFS:
    create:    68 s
    rewrite:  430 s
    read sq:   37 s
    read rn:  367 s
    delete:    36 s

Sonuç:
Ext4'ün genel performansı iyi olsa da, ReiserFS sıralı dosyaları okurken çok hızlıydı. XFS'nin birçok küçük dosyada yavaş olduğu ortaya çıktı - bu kullanımda kullanmamalısınız.

Parçalanma sorunu

Dosya sistemlerinin sürücü üzerine dosya dağıtmasını engellemenin tek yolu, bölümü yalnızca gerçekten ihtiyaç duyduğunuz kadar büyük tutmaktır, ancak bölmeyi parçalamayı önlemek için bölmeyi çok küçük yapmamaya dikkat edin. LVM kullanmak çok yardımcı olabilir.

daha fazla okuma

Arch Wiki'de dosya sistemi performansı ile ilgili bazı harika makaleler var:

https://wiki.archlinux.org/index.php/Beginner%27s_Guide#Filesystem_types

https://wiki.archlinux.org/index.php/Maximizing_Performance#Storage_devices

ReiserFS'yi bu görev için kullanıyorum, özellikle birçok küçük dosyayı işlemek için yapılmış. Funtoo wiki'de bununla ilgili metni okumak kolay .

ReiserFS ayrıca, özellikle küçük dosya performansını iyileştirmeyi amaçlayan bir dizi özelliğe sahiptir. Ext2'den farklı olarak, ReiserFS sabit bir k veya dört k bloğunda depolama alanı ayırmaz. Bunun yerine, ihtiyacı olan tam boyutu tahsis edebilir.

Ext4 performansı bir dizindeki 1-2 milyon dosyadan sonra düşer. Bu sayfaya bakınız http://genomewiki.ucsc.edu/index.php/File_system_performance UCSC'de Hiram Clawson tarafından hazırlandı

Bu gibi durumlarda XFS'nin çok iyi performans gösterdiği belirtiliyor. Bu benim iş yerimde posta depolarımızda (1 dizinde yüz binlerce dosya içerebilen) neden kullandığımızın bir parçası. ReiserFS'den daha iyi hata toleransına sahiptir, daha geniş kullanım alanı vardır ve genellikle çok olgun bir dosya sistemidir.

Ek olarak, XFS çevrimiçi birleştirmeyi de destekler. Başlamak için daha az parçalanma ile sonuçlanan gecikmeli bir tahsis tekniği kullanmasına rağmen (diğer dosya sistemlerine karşı).