Linux'ta bellek parçalanmasını tespit etmenin bir yolu var mı? Bunun nedeni, bazı uzun süre çalışan sunucularda performans düşüşünü fark ettiğimden ve yalnızca işlemi yeniden başlattıktan sonra daha iyi performans gördüğümden kaynaklanıyor. Linux büyük sayfa desteği kullanırken daha çok fark ettim - linux'daki büyük sayfalar parçalanmaya daha mı meyilli?

Özellikle / proc / buddyinfo'ya baktım. Bakmak için daha iyi bir yol olup olmadığını bilmek istiyorum (sadece CLI komutları değil, herhangi bir program veya teorik arka plan yapardı).

Linux etiketine cevap veriyorum . Cevabım sadece Linux'a özgü .

Evet, devasa sayfalar parçalanmaya daha yatkındır. Belleğin iki görünümü vardır, işleminiz (sanal) ve çekirdeğin yönettiği (gerçek). Herhangi bir sayfa büyüdükçe, özellikle de hizmetiniz varsayılan olarak onlardan daha fazla bellek ayıran ve daha fazla bellek ayıran diğerlerini desteklemesi gereken bir sistemde çalışırken, komşularını gruplandırmak (ve onunla birlikte tutmak) daha zor olacaktır. aslında sonunda kullanmak.

Çekirdeğin (gerçek) verilen adresleri eşlemesi özeldir. Kullanıcı alanının çekirdeği onları sunduğu gibi görmesinin çok iyi bir nedeni var, çünkü çekirdeğin kullanıcı alanını karıştırmadan fazla işlem yapabilmesi gerekiyor. İşleminiz , çekirdeğin aslında sahne arkasındaki bellekle ne yaptığından habersiz, çalışacak güzel, bitişik bir "Disneyfied" adres alanı alır .

Uzun süredir çalışmakta olan sunucularda düşük performans görmenizin nedeni büyük olasılıkla, açıkça kilitlenmemiş (örneğin mlock()/ mlockall()veya posix_madvise()) ve bir süredir değiştirilmemiş olan ayrılmış bloklar sayfalara ayrıldığından, hizmetinizin okunması gerektiğinde diske kayması anlamına gelir onlar. Bu davranışı değiştirmek, işleminizi kötü bir komşu yapar , bu nedenle birçok kişi RDBMS'lerini web / php / python / ruby ​​/ whatever'den tamamen farklı bir sunucuya koyar. Bunu düzeltmenin tek yolu, bitişik bloklar için rekabeti azaltmaktır.

Parçalanma yalnızca A sayfası bellekte olduğunda ve B sayfası değiş tokuşa taşındığında (çoğu durumda) gerçekten fark edilir. Doğal olarak, hizmetinizi yeniden başlatmak bunu `` iyileştiriyor '' gibi görünebilir, ancak sadece çekirdek, henüz tahsis edilen oranın sınırları içinde yeni tahsis edilmiş blokları (şimdi) sayfadan çıkarma fırsatına sahip olmadığı için.

Aslında, yüksek bir yük altında 'apache'nin yeniden başlatılması (diyelim) büyük olasılıkla diğer hizmetlerin sahip olduğu blokları doğrudan diske gönderecektir. Yani evet, 'apache' kısa bir süre için iyileşirdi, ama 'mysql' acı çekebilir .. en azından çekirdek yeterli fiziksel hafıza eksikliği olduğunda çekirdek eşit derecede acı çekene kadar.

Daha fazla bellek ekleyin veya talepkar malloc()tüketicileri ayırın :) Sadece bakmanız gereken parçalanma değil.

vmstatNerede depolandığına dair genel bir bakış elde etmeye çalışın .

Çekirdek

Geçerli parçalanma indeksini almak için şunu kullanın:

sudo cat /sys/kernel/debug/extfrag/extfrag_index

Çekirdek belleğini birleştirmek için çalıştırmayı deneyin:

sysctl vm.compact_memory=1  

Ayrıca Şeffaf Büyük Sayfaları (THP olarak da bilinir) kapatmayı ve / veya değiştirmeyi devre dışı bırakmayı (veya azaltmayı swappiness) deneyin .

Kullanıcı alanı

Kullanıcı alanı parçalanmasını azaltmak için farklı bir ayırıcıyı denemek isteyebilirsiniz, örneğin jemalloc( size ayırıcı iç parçalanmasına bir iç verecek harika içgözleme yetenekleri vardır ).

Programınızı onunla yeniden derleyerek veya yalnızca aşağıdakileri çalıştırarak özel malloc'a geçebilirsiniz LD_PRELOAD: LD_PRELOAD=${JEMALLOC_PATH}/lib/libjemalloc.so.1 app ( THP ve bellek belleği ayırıcıları arasındaki etkileşimlere dikkat edin )

Bellek parçalanmasıyla biraz ilgisi olmasa da (ancak bellek sıkıştırma / taşıma işlemine bağlı), muhtemelen her NUMA düğümü için bir tane olmak ve bunları kullanarak bağlamak için hizmetinizin birden çok örneğini çalıştırmak istiyorsunuz numactl.

Büyük sayfaların kullanılması Linux'ta fazladan bellek parçalanmasına neden olmamalıdır; Büyük sayfalar için Linux desteği yalnızca paylaşılan bellek içindir (shmget veya mmap aracılığıyla) ve kullanılan büyük sayfalar özel olarak bir sistem yöneticisi tarafından istenmeli ve önceden konumlandırılmalıdır. Hafızaya girdikten sonra, orada sabitlenirler ve değiştirilmezler. Bellek parçalanması karşısında devasa sayfalarda geçiş yapmanın zorluğu, tam olarak neden belleğe sabitlenmiş olmalarıdır (2MB büyük bir sayfa tahsis ederken, çekirdek, var olmayan 512 bitişik ücretsiz 4KB sayfası bulmalıdır).

Büyük sayfalarda Linux belgeleri: http://lwn.net/Articles/375098/

Bellek parçalanmasının büyük sayfa tahsisinin yavaş olmasına (ancak büyük sayfaların bellek parçalanmasına neden olmadığı yerde ) neden olabileceği bir durum vardır ve bu, sisteminiz bir uygulama tarafından istenirse büyük sayfaların havuzunu büyütecek şekilde yapılandırılmışsa oluşur. / Proc / sys / vm / nr_overcommit_hugepages / proc / sys / vm / nr_hugepages değerinden büyükse, bu olabilir.

Orada /proc/buddyinfoçok kullanışlıdır. Bu Python betiğinin yapabileceği gibi güzel bir çıktı biçiminde daha kullanışlıdır:

https://gist.github.com/labeneator/9574294

Büyük sayfalar için 2097152 (2MiB) boyutunda veya daha büyük bazı ücretsiz parçalar istiyorsunuz. Saydam büyük sayfalar için, çekirdeklerden bazıları istendiğinde otomatik olarak sıkıştırılır, ancak kaç tane alabileceğinizi görmek istiyorsanız, o zaman kök çalıştırılır:

echo 1 | sudo tee /proc/sys/vm/compact_memory

Ayrıca evet, büyük sayfalar parçalanma için büyük sorunlara neden olur. Ya büyük sayfalar elde edemezsiniz, ya da bunların varlığı, çekirdeğin biraz almaya çalışmak için çok fazla zaman harcamasına neden olur.

Benim için çalışan bir çözümüm var. Birkaç sunucuda ve dizüstü bilgisayarımda kullanıyorum. Sanal makineler için harika çalışıyor.

Bu kernelcore=4Gseçeneği Linux çekirdek komut satırınıza ekleyin. Sunucumda 8G kullanıyorum. Sayıya dikkat edin, çünkü çekirdeğinizin o hafızanın dışında bir şey tahsis etmesini engelleyecektir. Çok fazla soket ara belleğine ihtiyaç duyan veya akış diskinin yüzlerce sürücüye yazdığı sunucular bu şekilde sınırlı olmaktan hoşlanmaz. Döşeme veya DMA için "sabitlenmesi" gereken bellek ayırma bu kategoridedir.

Daha sonra diğer belleğiniz "taşınabilir" hale gelir, bu da büyük sayfa tahsisi için güzel parçalara sıkıştırılabileceği anlamına gelir. Artık şeffaf büyük sayfalar gerçekten olması gerektiği gibi çalışabilir. Çekirdek daha fazla 2M sayfaya ihtiyaç duyduğunda 4K sayfaları başka bir yere yeniden eşleyebilir.

Ve bunun sıfır kopya doğrudan IO ile nasıl etkileşime girdiğinden tam olarak emin değilim. "Hareketli bölge" deki belleğin sabitlenmesi beklenmemektedir, ancak doğrudan bir IO talebi DMA için tam olarak bunu yapacaktır. Kopyalayabilir. Yine de hareketli bölgeye sabitleyebilir. Her iki durumda da muhtemelen tam olarak istediğiniz şey değildir.