Bir dizindeki kaç dosya çok fazla? (İnternetten veri indirme)

Selamlar,

Çeşitli fotoğraf web sitelerinden görüntüleri işlemek için bazı senaryolar yazıyorum. Şu anda tüm bu verileri aynı dizindeki tek tek metin dosyalarında saklıyorum.

Dizine web'den erişilebilir. Son kullanıcı, kullanıcının ihtiyaç duyacağı dosyanın yolunu döndüren bir web hizmetine çağrı yapar.

Tüm bu dosyaları aynı dizinde tutarak hangi aşamada bir performans etkisi görecektim diye merak ediyordum. (Varsa)

Performans kullandığınız dosya sistemine göre değişir.

• FAT: unut gitsin :) (tamam, limitin dizin başına 512 dosya olduğunu düşünüyorum)
• NTFS: Klasör başına 4 milyar dosya tutabilir, nispeten hızlı bir şekilde bozulur - bin civarında performans sorunlarını fark etmeye başlayacaksınız, birkaç bin ve explorer'ın bir süre beklediğini göreceksiniz.

• EXT3: fiziksel sınır 32.000 dosyadır, ancak perf birkaç bin dosyadan sonra da acı çeker.

• EXT4: teorik olarak sınırsız

• ReiserFS, XFS, JFS, BTRFS: bunlar daha modern oldukları ve birçok dosyayı işlemek için tasarlandıkları için bir dizindeki birçok dosya için iyi olanlardır (diğerleri HDD'lerin GB değil MB olarak ölçüldüğü günlerde tasarlandı) . Her ikisi de istediğiniz dosyayı almak için ikili bir arama türü algoritması kullandığından (diğerleri daha doğrusal olanı kullanır) performans birçok dosya için (ext4 ile birlikte) çok daha iyidir.

Bir web sunucusu tarafından sunulmak üzere görüntüleri saklıyorum ve EXT3'teki bir dizinde 300.000'den fazla görselim var. Performans sorunu görmüyorum. Bunu ayarlamadan önce, bir dizinde 500 bin görüntü ile testler yaptım ve dosyalara adlarına rastgele eriştim ve dizinde 10 bin görüntü üzerinde 500 bin ile önemli bir yavaşlama olmadı.

Gördüğüm tek dezavantajı, yenilerini ikinci bir sunucu ile senkronize etmek için rsynctüm dizini çalıştırmam gerekiyor ve sadece en son binini içeren bir alt dizini senkronize etmesini söyleyemem.

Bir klasördeki dosya miktarı teorik olarak sınırsız olabilir. Ancak, işletim sistemi dosyaları aramak için belirli bir klasöre her eriştiğinde, klasördeki tüm dosyaları işlemek zorunda kalacaktır. 500'den az dosyayla gecikmeler fark etmeyebilirsiniz. Ancak, tek bir klasörde on binlerce dosya olduğunda, basit bir klasör listesi komutu (ls veya dir) çok uzun sürebilir. Bu klasörlere FTP üzerinden erişilebildiğinde, gerçekten çok yavaş olacaktır ...

Performans sorunları gerçekten işletim sisteminize değil, sistem işlemcinizin hızına, disk kapasitelerine ve belleğe bağlıdır. Bu kadar çok dosyanız varsa, bunları tek bir arşivde birleştirmek ve çok fazla veri tutmak için optimize edilmiş bir arşivleme sistemi kullanmak isteyebilirsiniz. Bu bir ZIP dosyası olabilir, ancak daha iyisi, birincil anahtar olarak dosya adına sahip bir veritabanında blob olarak saklayın.

Temel kuralım 1000'den fazla dosya varsa ve klasöre göz atılacaksa (yani internet veya Explorer aracılığıyla) veya 5000 dosyaya bölünmek.

@Skaffman'ın belirttiği gibi, limitler işletim sistemine bağlıdır. Eski işletim sistemlerindeki sınırlardan etkilenme olasılığınız yüksektir. Solaris'in eski bir sürümünün dizin başına 32768 dosya ile sınırlı olduğunu hatırlıyorum.

Genel çözüm bir çeşit karma kullanmaktır, yani Cyrus imap sunucusu kullanıcıları alfabetik bir karma ile ayırır:

/var/spool/imap/a/user/anna/
/var/spool/imap/a/user/albert/
/var/spool/imap/d/user/dan/
/var/spool/imap/e/user/ewan/

Bir dosyaya doğrudan erişiyorsanız, bir dizindeki dosya sayısı hız sorunu oluşturmaz.

Tek bir dizinde oluşturabileceğiniz dosya sayısı, kullandığınız dosya sistemine bağlıdır. Dizindeki tüm dosyaları listeliyorsanız veya çok sayıda dosyanın bulunması, arama, sıralama vb. Yapıyorsanız bu işlemler yavaşlar.

gbjbaanb, ext3'ün maksimum dosya boyutu hakkındaki cevabında yanlış. Genellikle ext, diskinizdeki dosya sayısını genel olarak sınırlar. Daha fazla dosya oluşturamazsanız, inode tablonuzda inodeunuz olur. Birçok dosyada daha fazla performans için reiserfs önermede doğrudur

NTFS'de (Windows 7, 64 bit) 10K dosya içeren işaretli klasör. Herhangi bir görünümde (Liste, Simge vb.) 10K görüntüler içeren klasör, herhangi bir makul gecikme olmadan çalışır ve kaydırır.