Milyonlarca küçük dosya için dosya sistemi

Aşağıdaki senaryoda en iyi hız için hangi Linux dosya sistemini seçersiniz :

• yüz milyon dosya
• Ortalama ~ 2k dosya boyutu
• >% 95 okuma erişimi
• oldukça rastgele erişim
• yüksek eşzamanlılık (> 100 işlem)

Not: Büyük dizinleri önlemek için dosyalar derin hiyerarşik bir ağaçta saklanır. Her yaprak dizini yaklaşık bin dosya içerir.

Nasıl kıyaslarsın?

İşte tüm ana Linux FS'lerini başlangıç ​​noktası olarak kullanabileceğiniz bonnie ++ ile karşılaştıran bazı sonuçlar .

Rastgele bakıldığında Reiser kazandı, ardından EXT4, ardından JFS. Bunun dizin aramalarıyla tam olarak ilişkili olup olmadığından emin değilim, ancak bunun bir gösterge olacağı gibi görünüyor. Bunun için özel olarak kendi testlerinizi yapmanız gerekecektir. EXT2, muhtemelen dergi olmamasından dolayı dosya oluşturma zamanları için herşeyin üstünü kırarken, EXT4, hans reiser'in şu anki durumu nedeniyle kullanmak istemediğiniz Reiser dışında her şeyi atıyor.

NCQ'yu destekleyen sürücülere bakmak isteyebilir ve kurulumunuzun kullanmak için kurulduğundan emin olun. Ağır aramalar altında hız artışı sağlamalıdır.

Son olarak, makinenizin bir tokmak olduğundan emin olun. Dosyalar sık ​​sık güncellenmediğinden, linux boş alan varsa çoğunu sıkıştırmak için önbelleklenecek. Kullanım şekilleriniz doğru ise, bu size büyük bir hız artışı sağlayacaktır.

Andrew’un söylediklerinin çoğuna katılıyorum, ancak Reiser4’ü veya daha eski (ancak daha iyi desteklenen) ReiserFS’yi tavsiye ederim . Bu testlerin (ve ReiserFS belgelerinin) belirttiği gibi, tam olarak sorduğunuz durum için tasarlanmıştır (çok sayıda küçük dosya veya dizin). ReiserFS'yi geçmişte Gentoo ve Ubuntu ile sorunsuz olarak kullandım.

Hans Reiser’in durumuna gelince, onu Dosya Sisteminin kodunda veya istikrarında bir sorun olarak görmüyorum. Reiser4, hem DARPA hem de Linspire tarafından bile desteklendiğinden, Reiser Dosya Sisteminin daha da gelişmesinin belirlenemediğine katılıyorum, kimsenin kullanıp kullanmama konusunda karar vermesi gereken bir şey yapmıyorum.

Bunun sorunuza doğrudan bir cevap olmadığını biliyorum, ancak bu durumlarda bir veritabanının bunu barındırmak için daha uygun olabileceğini düşünüyorum. Küçük dosyalar bir veritabanı tablosunda ikili biçimde saklanabilir ve wil'de alınabilir. Bu dosyaları kullanan yazılım bu olsa destekleyebilmeli ...

Unix StackExchange'teki kişiler, sadece bu senaryoyu test etmek için bir referans (kaynakla birlikte) oluşturdu:

S: Çok sayıda küçük dosyayı depolamak için en yüksek performanslı Linux dosya sistemi nedir (HDD, SSD değil)?

En iyi okuma performansı ReiserFS'den geliyor.

Benim tecrübeme göre, ext2 küçük dosyalar için ext4'ü sudan dışarı atar. Yazma bütünlüğü umursamıyorsanız, bu harika. Örneğin, subversion, ext4 ve diğer dosya sistemlerinin (XFS) tıkandığı çok sayıda ve çok sayıda küçük dosya oluşturur (her yarım saatte bir extrondan ext4'e veri bağlayan bir cron işi çalıştırır ya da sorunu neredeyse çözer).

Bu komutları çalıştırmak ext2'yi daha da hızlı yapar (bu seçeneklerin çoğu, çökmeden önce eşitleme yapmazsanız dosya sistemini çökmeden sonra kararsız hale getirse de). Bu komutların ext4 üzerinde küçük dosyalarla neredeyse hiçbir etkisi yoktur.

echo 15 > /proc/sys/vm/swappiness
echo 10 > /proc/sys/vm/vfs_cache_pressure
echo 99 > /proc/sys/vm/dirty_ratio
echo 50 > /proc/sys/vm/dirty_background_ratio
echo 360000 > /proc/sys/vm/dirty_expire_centisecs
echo 360000 > /proc/sys/vm/dirty_writeback_centisecs
echo "2000" > /proc/sys/vm/vfs_cache_pressure

Sanırım ext3 (veya ext4), belki JFS iyi bir çözüm olurdu. Ext4 ve btrfs konusunda dikkatli olurdum (dosya sistemleri zor - en yeni ve en yeni şeyleri kullanmak istiyorsanız yedeklemeye hazır olun).

Ayrıca, dosya sistemini istediğiniz gibi ayarlamak için mkfs süresi boyunca ayarlayabileceğiniz çeşitli parametreler vardır.

XFS'ye karşı kesinlikle öneriyorum . Kötü bir dosya sistemi olduğu için değil, ancak yaratma / silme işlemi pahalı bir işlemdir.

Dizin aramalarıyla ilgili sorunları önlemek için, örneğin akıllı bir adlandırma şeması kullanın:

<first letter of id>_<last letter of id>/<id>

veya benzeri, daha karmaşık şemalar. Bu, dizin aramalarınızı ve dolayısıyla genel erişim hızlarını hızlandıracaktır. (Eski bir unix hilesi, sanırım V7'den)

Çoğu FS, bir dizinde 65K'dan fazla dosyayla boğulacak, bunun hala ext4 için geçerli olduğunu düşünüyorum. Reiser dosya sistemleri bu limite sahip değildir (mp3.com'daki millet, bundan emin olmak için ödedi). Başka bir şey hakkında emin değilim, ancak bu ReiserFS'nin yapıldığı kullanım senaryolarından biri.