Siteme bir Ubuntu Sunucusu üzerinde çalışan bir tahmini arama özelliği (aşağıdaki örneğe bakın) ekledim. Bu doğrudan bir veritabanından çalışır. Her arama için sonucu önbelleğe almak ve varsa, başka oluşturmak için kullanmak istiyorum.
Potansiyel cira 10 milyon sonuçlarını tek bir dizinde ayrı dosyalara kaydetmemde herhangi bir sorun olur mu? Yoksa bunları klasörlere ayırmanız önerilir mi?
Misal:
5
Bölmek daha iyi olurdu. Bu dizinin içeriğini listelemeye çalışan herhangi bir komut büyük olasılıkla kendini vurmaya karar verecektir.
—
muru
Eğer zaten bir veritabanınız varsa, neden kullanmıyorsunuz? DBMS, dosya sistemine karşı milyonlarca kaydı daha iyi işleyebileceğinden eminim. Dosya sistemini kullanmaya karar verdiyseniz, bir çeşit karma kullanarak bir bölme şeması bulmanız gerekir, bu noktada IMHO, DB'yi kullanmak daha az iş gibi görünecektir.
—
roadmr
Modelinize daha uygun önbellekleme için başka bir seçenek de memcached veya redis olabilir. Anahtar değer depolarıdır (tek bir dizin gibi davranırlar ve öğelere yalnızca adıyla erişirsiniz). Yeniden gönderme kalıcıdır (yeniden başlatıldığında verileri kaybetmez); burada memcached daha geçici öğeler içindir.
—
Stephen Ostermiller
Burada tavuk ve yumurta problemi var. Araç geliştiricileri çok sayıda dosya içeren dizinleri işlemez, çünkü insanlar bunu yapmaz. İnsanlar çok sayıda dosyayla dizin oluşturmaz, çünkü araçlar bunu iyi desteklemez. Örneğin bir kerede anlıyorum (ve bunun hala doğru olduğuna inanıyorum),
os.listdirpython'da bir jeneratör sürümü yapmak için bir özellik isteği bu nedenle açıkça reddedildi.
Kendi tecrübelerime göre, Linux 2.6'da tek bir dizinde 32 bin dosyanın üzerine giderken kırılma gördüm. Bu noktanın ötesine geçmek mümkündür, ama bunu tavsiye etmem. Sadece birkaç alt dizin katmanına bölün ve çok daha iyi olacak. Şahsen, dizin başına yaklaşık 10.000 ile sınırlandıracağım, bu size 2 katman verecekti.
—
Wolph
