Linux'taki dosyaları RAM'e önbelleğe almak / önceden yüklemek

4GB RAM'e sahip oldukça eski bir sunucum var ve gün boyu aynı dosyalara hizmet veriyor, ancak 3GB RAM "ücretsiz" iken bunu sabit diskten yapıyor.

Bir ram sürücüsü çalıştırmayı hiç denemiş olan herkes , sürat açısından müthiş olduğuna şahit olabilir . Bu sistemin hafıza kullanımı genellikle asla 1GB / 4GB'tan daha yüksek değildir, bu yüzden bu ekstra belleği iyi bir şey için kullanmanın bir yolu olup olmadığını bilmek istiyorum.

• Dosya sistemine her zaman RAM'den belirli dosyaları sunmasını söylemek mümkün müdür?
• RAM kullanarak dosya okuma yeteneklerini geliştirmek için kullanabileceğim başka yöntemler var mı?

Daha spesifik olarak, burada bir 'kesmek' aramıyorum. Bir ram-sürücü oluşturmaya gerek kalmadan dosyaları manuel olarak kopyalamak zorunda kalmadan dosya sistemi aramalarını RAM'den dosyalara sunmak için arama yapmak istiyorum. Ya da en azından benim için bunu yapan bir senaryo.

Buradaki olası uygulamalar:

• Çok okuyan statik dosyalara sahip web sunucuları
• Büyük kütüphanelere sahip uygulama sunucuları
• Çok fazla RAM'e sahip masaüstü bilgisayarlar

Herhangi bir fikir?

Düzenle:

• Bu çok bilgilendirici bulundu: Linux Sayfa Önbelleği ve pdflush
• Zan'in belirttiği gibi, hafıza aslında özgür değil. Demek istediğim, uygulamalar tarafından kullanılmadığı ve bellekte neyin önbelleğe alınması gerektiğini kontrol etmek istediğimdir.

vmtouch iş için iyi bir araç gibi görünüyor.

Özellikleri:

• bir dizinin ne kadarının önbelleğe alındığını sorgula
• Bir dosyanın ne kadarının önbelleğe alındığını sorgulamak (ayrıca hangi sayfalarda, grafiksel gösterimlerde)
• önbelleğe dosya yükle
• önbellekten dosya kaldır
• dosyaları önbellekte kilitle
• daemon olarak koşmak

vmtouch manual

DÜZENLEME: Soruda sorulan kullanım vmtouch Ana Sayfasındaki örnek 5'te listelenmiştir.

Example 5

Daemonise and lock all files in a directory into physical memory:

vmtouch -dl /var/www/htdocs/critical/

EDIT2: Yorumlarda belirtildiği gibi , artık mevcut bir git deposu var.

Bu, vmtouch Sanal Bellek Toucher yardımcı programını kullanarak da mümkündür .

Araç, Linux sistemindeki dosya sistemi önbelleğini kontrol etmenizi sağlar. VM önbellek alt sisteminde belirli bir dosyayı veya dizini zorlayabilir veya kilitleyebilir veya VM'de bir dosyanın / dizinin hangi bölümlerinin bulunduğunu kontrol etmek için kullanabilirsiniz.

How much of the /bin/ directory is currently in cache?

$ vmtouch /bin/
           Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M  26.6%
         Elapsed: 0.003426 seconds

Veya...

Let's bring the rest of big-dataset.txt into memory...

$ vmtouch -vt big-dataset.txt
big-dataset.txt
[OOo                                                 oOOOOOOO] 6887/42116
[OOOOOOOOo                                           oOOOOOOO] 10631/42116
[OOOOOOOOOOOOOOo                                     oOOOOOOO] 15351/42116
[OOOOOOOOOOOOOOOOOOOOOo                              oOOOOOOO] 19719/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOo                        oOOOOOOO] 24183/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo                  oOOOOOOO] 28615/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo              oOOOOOOO] 31415/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo      oOOOOOOO] 36775/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo  oOOOOOOO] 39431/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 42116/42116

           Files: 1
     Directories: 0
   Touched Pages: 42116 (164M)
         Elapsed: 12.107 seconds

Fakir bir adamın dosya sistemi önbelleğine bir şeyler sokma hilesi, basitçe onu yakalamak ve / dev / null'a yönlendirmektir.

Linux, bellekte olabildiğince fazla disk G / Ç'si önbelleğe alır. Bu, önbellek ve arabellek istatistiğidir. Muhtemelen doğru şeyleri saklamaktan daha iyi bir iş çıkarır.

Ancak, verilerinizi bellekte saklamakta ısrar ederseniz, ya tmpfs veya ramfs kullanarak bir ram sürücüsü oluşturabilirsiniz. Aradaki fark, rampaların istediğiniz tüm belleği tahsis edeceği, tmpfs’in sadece blok cihazınızın kullandığı belleği kullanmasıydı. Hafızam biraz paslanmış ama yapabilecekleriniz:

 # mount -t ramfs ram /mnt/ram 

veya

 # mount -t tmpfs tmp /mnt/tmp

ve sonra verilerinizi dizine kopyalayın. Açıkçası, makineyi kapattığınızda veya bu bölümü çıkardığınızda, verileriniz kaybolur.

2.6 çekirdek takas ve sayfa önbelleğe alma özellikleri bazı kapsamlı bir okuma sonra 'fcoretools' bulundu. Hangi iki araçtan oluşur;

• fincore: Uygulamanın çekirdek hafızada kaç sayfa sakladığını ortaya çıkaracak
• fadvise: Çekirdek belleği değiştirmenize izin verir (sayfa önbelleği).

(Başka birinin bunu ilginç bulması durumunda, bunu buraya gönderiyorum)

Diğer araçları kullanmadan bile önemli ölçüde yardımcı olabilecek iki çekirdek ayarı vardır:

swappiness

linux çekirdeğine swap'ı ne kadar agresif kullanması gerektiğini söyler. Wikipedia makalesinden alıntı:

Değişkenlik, Linux çekirdeği için, sayfaların sistem sayfası önbelleğinden düşmesi yerine, çalışma zamanı belleğinin değiştirilmesi arasındaki dengeyi değiştiren bir özelliktir. Değişkenlik, 0 ile 100 arasında dahil olan değerlere ayarlanabilir. Düşük bir değer, çekirdeğin mümkün olduğunca yüksek bir değerin yerine geçmesini önlemeye çalışacağı anlamına gelir; bunun yerine çekirdeğin agresif bir şekilde takas alanı kullanmaya çalışmasını sağlar. Varsayılan değer 60'tır ve çoğu masaüstü sistemi için 100'e ayarlamak genel performansı etkileyebilir, oysa daha düşük (0 bile) ayarlamak etkileşimi iyileştirebilir (yanıt gecikmesini azaltır).

vfs_cache_pressure

Vm.txt dosyasından alıntı :

Çekirdeğin, dizin ve inode nesnelerinin önbelleğe alınması için kullanılan belleği geri alma eğilimini kontrol eder.

Vfs_cache_pressure = 100'ün varsayılan değerinde çekirdek, pagecache ve swapcache geri kazanımı ile ilgili olarak, dişçi ve inodeları "adil" bir oranda geri almaya çalışacaktır. Vfs_cache_pressure değerini azaltmak, çekirdeğin dentry ve inode önbelleklerini tutmayı tercih etmesine neden olur. ...

swappinessYüksek (100 gibi) ayarlayarak , çekirdek, dosyaları önbelleğe almak için RAM'i serbest bırakmak için takas etmesi gerekmeyen her şeyi taşır. Ve vfs_cache_pressuredaha düşük bir değere ayarlayarak (diyelim ki, 0'a 50 değil diyelim), uygulama verilerini RAM'de tutmak yerine dosyaları önbelleğe almayı tercih eder.

(Büyük bir Java projesi üzerinde çalışıyorum ve her çalıştırdığımda çok fazla RAM aldı ve disk önbelleğini temizledi, böylece projeyi bir daha derlediğimde her şey tekrar diskten okundu. Bu iki ayarı değiştirerek yönetiyorum. Kaynakları ve derlenmiş çıktıları RAM'de önbelleğe almak, bu süreci önemli ölçüde hızlandırır.)

Aslında 3 GB RAM ücretsiz diskteki dosyaları sunmakta olduğundan şüpheliyim. Linux dosya önbelleği çok iyidir.

Disk IO görüyorsanız, günlük yapılandırmalarınıza bakardım. Bir kaza durumunda en son günlük bilgisinin mevcut olduğundan emin olmak için birçok günlük arabelleksiz olarak ayarlanır. Ne olursa olsun hızlı olması gereken sistemlerde, tamponlanmış log IO kullanın veya uzak bir log server kullanın.

Çok fazla belleğiniz varsa, kedi veya benzeri bir şeyle önbelleğe almak istediğiniz dosyaları okuyabilirsiniz. Linux daha sonra etrafta kalabilmek için iyi bir iş çıkarır.

Sadece mmapdosyalarınızı çalıştıran bir program olabilir .

Kullanabileceğiniz çeşitli ramfs sistemleri vardır (örneğin, ramfs, tmpfs), ancak genel olarak dosyalar gerçekten okunuyorsa, dosya sistemi önbelleğinize otururlar. Eğer çalışma dosyalarınız serbest ramınızdan daha büyükse, o zaman dosyalar silinir - ancak çalışma kümeniz serbest ramınızdan daha büyükse, hepsini bir ramdisk içine sığdırmanız mümkün değildir.

Bir kabuktaki "free" komutunun çıktısını kontrol edin - son sütundaki "Cached" altındaki değer, serbest ramınızın dosya sistemi önbelleği için ne kadarının kullanıldığını gösterir.

İkinci sorunuza gelince, RAM'ınızın farklı bellek kanallarında oturduğundan emin olun, böylece işlemci verileri paralel olarak alabilir.

Bunun uygulama düzeyinde daha iyi çözülebileceğini düşünüyorum. Örneğin, muhtemelen bunun için özel web sunucuları var veya Apache ile mod_cache düşünebilirsiniz . Web içeriğini daha hızlı sunma gibi belirli bir hedefiniz varsa, düşündüğüm türden geliştirmeler alabilirsiniz.

Ancak sorunuz genel olarak geneldir, Linux bellek alt sistemi RAM'in en iyi şekilde kullanılmasını sağlamak için tasarlanmıştır. Belirli performans türlerini hedeflemek istiyorsanız, / proc / sys / vm içindeki her şeyi aramayı düşünün.

Fcoretools paketi ilginç, uygulaması hakkında herhangi bir makaleyle ilgileniyorum ... Bu bağlantı , bir uygulamada kullanılan gerçek sistem çağrıları hakkında konuşuyor.

Masaüstü bilgisayarlar (örn. Ubuntu) zaten önyükleme sırasında belleğe yüklemek için önceden yüklenmiş dosyaları (en azından popüler paylaşılan kütüphaneleri) kullanır. FF, OO, KDE ve GNOME gibi farklı yazılım programlarının önyükleme ve başlatma zamanını hızlandırmak için kullanılır (evrimsel bloat-posta ile).

Aracın adı readahead http://packages.ubuntu.com/dapper/admin/readahead

Buna karşılık gelen bir çağrı var : readahead (2) http://linux.die.net/man/2/readahead

Ayrıca önyükleme arka planında da bir proje var: http://linux.die.net/man/8/preload

http://www.coker.com.au/memlockd/ bunu yapar

Gerçekten ihtiyacınız olmasa da, Linux kendi kullandığınız dosyaları önbelleğe almak için oldukça iyi bir iş çıkarır.

= dd eğer = / dev / yourrootpartition = / dev / null \ bs = 1Mcount = howmuchmemoryyouwanttofill

bana arzuladığın bir kontrolü sağlamaz ama en azından boş hafıza kullanmaya çalışır.

Ben bul / -name stringofrandomcharacter çok yardımcı olur kullanın

Tam olarak ne istendi, ama kullanıyorum

BASE_DIRECTORY -tipi f -exec kedisini bulun {}> / dev / null \;

Bir anlık görüntüden oluşturulan bir AWS birimindeki dosyaların başlatılmasını tetiklemek için. Sadece bazı dosyaları okumak istiyorsanız, gd kullanmanızın resmi önerisinden daha çok odaklanmıştır.

Bazen dosyaları belirli bir klasörde ve alt klasörlerinde önbelleğe almak isteyebilirim. Ben sadece bu klasöre gidiyorum ve aşağıdakileri yürütüyorum:

Bul -exec cp {} / dev / null \;

Ve bu dosyalar önbelleğe alınır