Hata ayıklama Linux makine donuyor

15 özdeş Linux RH 4.7 64-bit sunucum var. Küme veritabanını çalıştırırlar (küme uygulama düzeyindedir). Bazen (her ay kadar) rastgele bir kutu (asla aynı olmasa da) donar.

Kutuya ping atıp ping çalışmaları yapabilirim. Eğer kutuda ssh yapmaya çalışırsam:

ssh_exchange_identification: Connection closed by remote host

SSH düzgün ayarlanmış.

Sunucu odasına gittiğimde ve doğrudan konsola giriş yapmaya çalıştığımda, Alt+ ile konsolları değiştirebilirim Fn, bir kullanıcı adı girebilirim ve karakterler gösteriliyor, ancak bastıktan sonra Enterhiçbir şey olmuyor. Bir kez 8 saat bekledim ve değişmedi.

Syslog'u her şeyi uzak bir ana bilgisayara kaydedecek şekilde ayarladım ve bu günlüklerde hiçbir şey yok. Makineyi yeniden başlattığımda, sorunsuz çalışıyor. HW testleri yaptım - her şey yolunda ve günlüklerde hiçbir şey yok. Makineler de NAGIOS ile izlenir ve donmadan önce olağandışı bir yük veya aktivite yoktur.

Fikirlerim bitti; başka ne yapabilirim veya kontrol edebilirim?

Çekirdeğiniz sshd'nin sunucu anahtarlarını gönderemediği bir şekilde panikledi. Muhtemelen, çekirdek ağ yığını hala yukarıda olacak şekilde sıkışmıştı, ancak vfs katmanı kullanılamıyordu.

Bir RHEL4 sisteminde benzer sorunlar yaşadığımda , çökme dökümlerini ve çekirdek panik bilgilerini yakalamak için netdump ve netconsole hizmetlerini ve özel bir netdump ve syslog sunucusunu kurdum. Ayrıca kernel.panic sysctl değerini 10 olarak ayarladım. Bu şekilde, bir sistem paniği olduğunda, bu sistemdeki 'crash' yardımcı programı ile analiz edebileceğiniz hem çekirdek izini hem de belleğin bir kopyasını alırsınız.

Ayrıca ana bilgisayarlar için seri bir konsol kurmaktan da faydalanırsınız, böylece konsolu dışarı çıkardınız ve potansiyel olarak sihirli sysrq tuşlarına basabilirsiniz. Ayrıca, ağı kurmaya hazırsanız ve onu destekleyen bir donanımınız varsa, donanımın gücünü kapatmak, güçlendirmek, yeniden başlatmak ve sorgulamak için IPMI'yı kullanabilirsiniz.

(değer için, RHEL5 kexec / kdump ile benzer bir işlevselliğe sahiptir, sadece çökme dökümü yerel olarak depolanır)

Hafızanızın bittiği çöreklere dolar bahse gireceğim. Sistem nereden alınacağını anlamaya çalışırken durma noktasına geliyor. O kadar hızlı gerçekleşiyor olabilir ki izlemeniz onu yakalamıyor. Uzaktan bellek kullanımı da dahil olmak üzere izlemeyi hızlandıracağım. Günlüklerde OOM iletileri olup olmadığını da kontrol edin.

(Hatta sadece bazı ssh pencerelerinin çalışan üst açık olmasını isteyebilirsiniz.)

Bana göre bu sistem kaynakları yetersiz gibi geliyor, bu yüzden ssh sunucu tarafı için gerekli süreç tahsis edilemez.

Asıl darboğaz, işlemlerden veya belleğin dışında değişebilir ve emin olmanın tek yolu, orada bir şey olup olmadığını görmek için günlüklere ve konsola bakmaktır. Önceden başlatılmış bir ssh-işleri senaryosu oluşturmak isteyebilirsiniz - her makineye bir tane - basitçe bir dahaki sefere hazırlanmak için.

Eğer durum bu ise gerçekten kötü, o zaman bu mümkün olmayabilir gibi ekstra işlemini başlatmak zorunda kalmadan daha araştırmak böylece daha yerleşik komutlar başka kabuğun başlatılması düşünebilir. Ayrıca "tail -f / var / log / *" çok faydalı olabilir.

İyi şanslar.

Benzer bir şey gördüğüm tek şey, bir KVM anahtarının kullanıldığı ve sunucular arasında geçiş yapmak için bir klavye kısayol tuşunun (örn. Alt + n) kullanıldığı zamandı. Her seferinde olmadı ve etkilenen sunucudan uzak tutuluyor - bu yüzden hemen fark edilmedi. Sunucular arasında geçiş yapmak için KVM anahtarının kendisinde fiziksel bir düğme kullanıldığında kilitlenme olmaz. Kısayol tuşu sık sık kullanılıyorsa, bazen sunucu yeni oturum açma işlemlerine izin vermez. Mevcut SSH oturumları etkilenmedi.