Çok sayıda dosya içeren NTFS sürücüsünde yavaş performans

Bu düzene bakıyorum:

• Windows Server 2012
• 1 TB NTFS sürücü, 4 KB kümeler, ~% 90 dolu
• 10.000 klasörde depolanan ~ 10M dosya = ~ 1.000 dosya / klasör
• Çoğunlukla küçük dosyalar <50 KB
• Disk dizisinde barındırılan sanal sürücü

Bir uygulama rasgele klasörlerde saklanan dosyalara eriştiğinde, her dosyayı okumak 60-100 ms sürer. Bir test aracıyla, gecikme dosyayı açarken ortaya çıkar. Verileri okumak zamanın sadece bir kısmını alır.

Özetle, bu 50 dosyayı okumanın 3-4 saniye alabileceği anlamına gelir ki bu beklenenden çok daha fazladır. Yazma toplu olarak yapılır, bu nedenle performans burada bir sorun değildir.

Zaten bu rakamlara ulaşmak için SO ve SF tavsiyelerini takip ettim.

• Klasör başına dosya sayısını azaltmak için klasörleri kullanma ( Dosya sisteminde bir milyon görüntü saklama )
• contigKlasörleri ve dosyaları birleştirmek için çalıştırın ( https://stackoverflow.com/a/291292/1059776 )
• 8.3 adlar ve son erişim süresi devre dışı ( NTFS dosya sistemini performans için yapılandırma )

Okuma süreleri hakkında ne yapmalı?

• Dosya başına 60-100 msn tamamlanmasını düşünün (değil, değil mi?)
• Kurulumun nasıl geliştirilebileceği hakkında bir fikriniz var mı?
• Tam olarak ne zaman harcandığını anlayabilecek düşük seviyeli izleme araçları var mı?

GÜNCELLEME

1. Yorumlarda belirtildiği gibi sistem Symantec Endpoint Protection'ı çalıştırır. Ancak, devre dışı bırakılması okuma sürelerini değiştirmez.

2. PerfMon okuma başına 10-20 ms ölçer. Bu, okunan herhangi bir dosyanın ~ 6 G / Ç okuma işlemi gerektirdiği anlamına gelir, değil mi? Bu MFT araması ve ACL kontrolleri olur mu?

3. MFT'nin boyutu ~ 8,5 GB'tır ve bu da ana bellekten daha fazladır.

Sunucuda yeterli bellek yoktu. NTFS meta dosyası verilerini bellekte önbelleğe almak yerine her dosya erişimi birden çok disk okuması gerektiriyordu. Her zamanki gibi, bir kez gördüğünüzde sorun açıktır. Perspektifimi neyin bulanıklaştırdığını paylaşmama izin verin:

• Sunucu hem Görev Yöneticisi'nde hem de RamMap'te 2 GB bellek gösterdi. Bu nedenle, her iki Windows da kullanılabilir belleğin meta dosya verilerinin anlamlı bir kısmını tutmak için yeterli olmadığına karar verdi. Veya bazı dahili kısıtlamalar, meta dosya verileri için son bellek bitinin kullanılmasına izin vermez.

• Yükseltme işleminden sonra RAM Görev Yöneticisi kullanılan daha fazla bellek göstermez. Ancak RamMap, çoklu GB meta dosyası verilerinin bekleme verileri olarak tutulduğunu bildirdi. Görünüşe göre, bekleme verileri önemli bir etkiye sahip olabilir.

Analiz için kullanılan araçlar:

• fsutil fsinfo ntfsinfo driveletter:MFT boyutunu (veya NTFSInfo ) gösterme
• Bellek ayırmayı göstermek için RamMap
• İzlenen her dosyanın önünde sürücü: \ $ Mft ve sürücü: \ $ Dizini olmak üzere yaklaşık 4 okuma işlemi olduğunu gösteren İşlem İzleyicisi . $ Directory'nin tam tanımını bulamadığım halde MFT ile de ilgili gibi görünüyor .