Linux disk önbellekleme davranışını maksimum verim için ayarlama

Burada maksimum bir işlem sorunu yaşıyorum ve düğmelerimi ayarlamak için hangi tavsiyeye ihtiyacım var. Yedek dağıtım için 10Gbit dosya sunucusu çalıştırıyoruz. Bir LSI MegaRAID Denetleyicisi üzerinde iki diskli S-ATA2 kurulumu. Sunucu ayrıca 24gig bellek aldı.

Son yüklenen yedeklememizi maksimum verimle yansıtmamız gerekiyor.

"Sıcak" yedeklemelerimiz için RAID0 bize yaklaşık 260 MB / sn yazma ve 275 MB / sn okuma sağlar. 20 GB boyutunda test edilmiş bir tmpfs bize yaklaşık 1GB / sn sağlar. Bu tür bir verim ihtiyacımız.

Şimdi Linux'un sanal bellek alt sistemini en son yüklenen dosyaları diske yazmadan (veya daha da iyisi: diske yazmak ve bellekte tutmak) bellekte olabildiğince uzun süre önbelleğe almak için nasıl ayarlayabilirim?

Aşağıdaki sysctl'leri ayarladım, ancak bize beklediğimiz verimi vermiyorlar:

# VM pressure fixes
vm.swappiness = 20
vm.dirty_ratio = 70
vm.dirty_background_ratio = 30
vm.dirty_writeback_centisecs = 60000

Teorik olarak bu , G / Ç'yi önbelleğe almak için bize 16 GB vermeli ve diske yazılıncaya kadar birkaç dakika beklemelidir. Yine de sunucuyu karşılaştırdığımda yazma üzerinde hiçbir etki görmüyorum, verim artmıyor.

Yardım veya tavsiye gerekiyor.

Belirlediğiniz değişkenlere bakıldığında, çoğunlukla yazma performansı ile ilgilendiğiniz ve elektrik kesintilerinden kaynaklanan olası veri kayıplarını önemsemediğiniz anlaşılıyor.

Sadece tembel yazma seçenekleri ve eşzamansız yazma işlemleriyle geri yazma önbelleği kullanma seçeneği elde edersiniz. Eşzamanlı yazma işlemleri diske bağlanmayı gerektirir ve hiçbir zaman tembel olarak yazılmaz. Dosya sisteminiz, sık sık sayfa temizleme ve eşzamanlı yazma işlemlerine neden olabilir (genellikle günlük kaydı nedeniyle, özellikle ext3 veri = günlük modundayken). Ayrıca, "arka plan" sayfa yıkamaları bile önbelleğe alınmamış okumalara ve eşzamanlı yazma işlemlerine engel olur , böylece yavaşlar.

Genel olarak, neler olduğunu görmek için bazı metrikler almalısınız - kopyalama işleminizin "D" durumuna getirildiğini görüyorsunuz ve pdflush tarafından G / Ç işinin yapılması bekleniyor mu? Disklerinizde ağır senkronize yazma etkinliği görüyor musunuz?

Her şey başarısız olursa, yedeklerinizi kopyaladığınız ve gerçekte inotify kullanarak otomatik olarak disklerinizle verileri senkronize ettiğiniz açık bir tmpfs dosya sistemi kurmayı seçebilirsiniz.

Okuma önbellekleme için işler çok daha basittir - çekirdeğin arabellek önbelleğine yüklenmesi için çekirdeğe tavsiyede bulunacak parametreye sahip olan fcoretools fadviseyardımcı programı vardır --willneed.

Düzenle:

vm.dirty_ratio = 70

Teorik olarak bu, G / Ç'yi önbelleğe almak için bize 16 GB vermeli ve diske yazılıncaya kadar birkaç dakika beklemelidir.

Bu, test senaryonunuzu büyük ölçüde etkilemez, ancak anlayışınızda bir yanlış anlama vardır. Dirty_ratio parametresi, sisteminizin toplam belleğinin bir yüzdesi değil, sisteminizin boş belleğinin bir yüzdesidir .

Daha ayrıntılı bilgiler içeren Yazma-Ağır yükleri ayarlama hakkında bir makale var .

Veya daha fazla disk alın ... Sahip olduğunuz sürücü dizisi yapılandırması, ihtiyacınız olan her şeyi desteklemiyor. Bu, gerçek ihtiyaçlarınızı karşılamak için çözümün yeniden yapılandırılması gereken bir durumdur. Bunun sadece yedek olduğunu anlıyorum, ancak kludgy bir düzeltmeyi önlemek mantıklı.

Bellek önbelleğinin kullanılması, bir şeyler ters giderse bellekte olan ve disklere kaydedilmeyen veriler kaybedilecek gibi veri kaybına neden olabilir.

Bununla birlikte, dosya sistemi düzeyinde yapılacak ayarlamalar var.

Örneğin, ext4 kullanıyorsanız bağlama seçeneğini deneyebilirsiniz:

Bariyer = 0

Bu: "jbd kodunda yazma bariyerlerinin kullanılmasını devre dışı bırakır. Yazma bariyerleri, bazı performans cezalarında geçici disk yazma önbelleklerinin kullanılmasını güvenli hale getirerek, dergi taahhütlerinin disk üzerinde uygun şekilde sıralanmasını zorunlu kılar. Diskleriniz bir şekilde pil destekli ise veya başka bir şekilde, devre dışı bırakma engelleri performansı güvenli bir şekilde artırabilir. "Bariyer" ve "nobariyer" montaj seçenekleri, diğer ext4 montaj seçenekleriyle tutarlılık sağlamak amacıyla bariyerleri etkinleştirmek veya devre dışı bırakmak için de kullanılabilir. "

Daha fazla bilgi için: http://www.mjmwired.net/kernel/Documentation/filesystems/ext4.txt