Sunucu odasında bir şeyler yanıyor; ne olduğunu hızlı bir şekilde nasıl belirleyebilirim?

Geçen gün, sunucu odasından çıkan korkunç bir yanma kokusu olduğunu fark ettik. Uzun lafın kısası, UPS ünitesinde yanmakta olan akü modüllerinden biri olarak sonuçlandı, ancak bunu anlayabilmemiz birkaç saat sürdü. Bunu çözmemizin ana nedeni, UPS ekranının nihayet modülün değiştirilmesi gerektiğini göstermesiydi.

İşte problem buydu: bütün oda koku ile doluydu. Koklama testi yapmak çok zordu çünkü koku her şeye sızmıştı (bahsetmemize ışık tutmamıştı). Neredeyse yanlışlıkla üretim veritabanı sunucumuzu düşürdük çünkü kokunun en güçlü olduğu yer burasıydı. Hayati önem taşıyor gibi görünüyordu (CPU sıcaklıkları 60 derece C gösterdi ve fan hızları tamam), ancak emin değildik. Öyle oldu ki, yanmış olan akü modülü raftaki sunucu ile aynı yükseklikte ve sadece 3 ft uzaklıkta idi. Bu gerçek bir acil durum olsaydı, sefil bir şekilde başarısız olurduk.

Gerçekçi olarak, gerçek sunucu donanımının yanma olasılığı oldukça nadir görülen bir durumdur ve çoğu zaman UPS'e göz atacağız. Ancak birkaç ekipman parçası olan birkaç rafla hızlı bir şekilde tahmin oyunu haline gelebilir. Kişi hangi ekipmanın gerçekten yanmakta olduğunu nasıl hızlı ve doğru bir şekilde belirler? Bu sorunun, oda büyüklüğü, havalandırma, konum vb. Çevre değişkenlerine büyük ölçüde bağlı olduğunu biliyorum, ancak herhangi bir girdi takdir edilecektir.

Genel fikir birliği, sorunuzun cevabının iki bölümden geldiği anlaşılıyor:

Komik yanma kokusunun kaynağını nasıl buluruz?

Çivilenmiş "Nasıl" dedin:

• "Koklama Testi"
• Görünür duman / pus arayın
• Sıcak noktaları bulmak için odada bir termal kamera (IR) ile yürüyün
• Uyarılar için izleme ve cihaz panellerini kontrol edin

Sorunu hızlı bir şekilde bir dizi yolla hızlıca bulma şansınızı artırabilirsiniz - gelişmiş izleme genellikle en kolay yoldur. Sorulacak bazı sorular:

• Ekipmanınızdan sıcaklık ve diğer sağlık uyarıları alıyor musunuz?
• UPS sistemleriniz, izleme sisteminizde hataları mı rapor ediyor?
• Elektrik dağıtım ekipmanınızdan akım alarmları alıyor musunuz?
• Odadaki duman dedektörleri izleme sistemine rapor veriyor mu? (ve yapabilirler? )

Büyük Kırmızı Anahtar'a çarpma yerine ne zaman sorun gidermeliyiz?

Bu daha ilginç bir soru.
Büyük kırmızı düğmeye basmak, şirketinize acele etmek için çok fazla paraya mal olabilir: Temiz ajan sürümleri, onbinlerce dolara ve acil durum kapattıktan sonra kesinti / kurtarma masraflarına neden olabilir (EPO, "odayı bırakmak" ) yıkıcı olabilir.
Bir veri merkezini düşürmek istemezsiniz çünkü güç kaynağındaki bir kondansatör fırladı ve odanın kokusunu aldı.

Buna karşılık, bir sunucu odasındaki bir yangın şirketinize veri / ekipmanı ve daha da önemlisi personelinizin hayatına mal olabilir.
Sorun giderme "bu komik yanma kokusu" asla güvenlikten öncelikli olmamalıdır , bu nedenle "yangın öncesi" koşullarında sorun giderme hakkında bazı açık kurallara sahip olmak önemlidir.

İzleyen kurallar, açıkça tanımlanmış başka herhangi bir prosedür / kural yokluğunda (veya bunlara ek olarak) uygulayamadığım kişisel kısıtlamalarımdır - bana iyi hizmet ettiler ve size yardımcı olabilirler, ancak beni kolayca öldürebilirler veya Yarın kovuldum, bu yüzden bunları kendi sorumluluğunuzdadır.

1. Duman veya ateş görürseniz, odayı düşürün
   Bu söylenmeden devam etmeli, ama yine de söyleyelim: Aktif bir yangın varsa (veya yakında olacağını bildiren duman) odayı tahliye eder, gücü keser ve yangını söndürürsünüz. bastırma sistemi.
   İstisnalar olabilir (bazı sağduyular kullanın), ancak bu hemen hemen her zaman doğru eylemdir.

2. Sorun gidermeye devam ediyorsanız, her zaman en az bir kişi daha bulunur.
   Bu iki nedenden dolayıdır. Öncelikle, bir veri merkezinde dolaşmak istemezsiniz ve birdenbire üst üste yürürken bir rafa tırmanırsınız ve kimse orada olduğunuzu bilmiyor. İkincisi, diğer kişi, odayı düşürmek yerine sorun giderme konusundaki akıl kontrolünüzdür ve Büyük Kırmızı Anahtar'a basmak için arama yapmanız gerekiyorsa, ikinci bir kişinin kararla hemfikir olması avantajına sahip olursunuz (kariyer sınırlamalarını önlemeye yardımcı olur) Birisi daha sonra sorgularsa böyle bir kararın

3. Sorun giderme sırasında ihtiyatlı güvenlik önlemleri alın.
   Her zaman bir kaçış yolunun (bir sıranın açık bir ucu ve bir çıkışa giden açık bir yol) bulunduğundan emin olun.
   Birisini EPO / yangın söndürme sürümünde konuşlanmış halde tutun.
   Yanınızda bir yangın söndürücü bulundurun (Halon veya diğer temizlik maddeleri lütfen.)
   Yukarıdaki 1. kuralı unutmayın.
   Şüphe durumunda, odadan çıkın . Solunumunuza dikkat edin: bir solunum cihazı veya oksijen maskesi kullanın. Bu, kimyasal yangın durumunda sağlığınızı koruyabilir.

4. Bir limit belirleyin ve ona
   daha doğru şekilde yapışıp iki limit belirleyin:

   • Koşul ("Bunun daha ne kadar kötüye gitmesine izin vereceğim?"), Ve
   • Zaman ("Sorunu çok riskli olmadan önce bulmaya ne kadar devam edeceğim?").

   Eğer belirlediği limitler takımınızın etkilenen alan sırayla kapatma başlasın için kullanılan, bu nedenle zaman olabilir DO etkin makinelerin bir demet kilitlenen değiliz gücü çekin ve iyileşme süresi çok daha kısa olacak, ama unutmayın Düzenli kapatma çok uzun sürüyorsa, güvenlik adına birkaç sistemin çökmesine izin vermeniz gerekebilir.

5. Bağırsaklarınıza güvenin
   Herhangi bir zamanda güvenlik konusunda endişeleriniz varsa, sorun gidermeyi giderin ve odayı temizleyin.
   Bağırsak hissine bağlı olarak odayı düşürebilir veya bırakamazsınız, ancak (göreceli) güvenlik içinde odanın dışına yeniden sokmak ihtiyatlıdır.

Yaklaşan bir tehlike yoksa, EPO veya temizlik maddesi serbest bırakma gibi sert eylemler yapmadan önce yerel itfaiyeyi getirmeyi seçebilirsiniz. (Yine de bunu yapmanı söyleyebilirler: Görevleri, insanları ve sonra mülkleri korumaktır, ancak açıkça onların ateşle başa çıkma konusunda uzman oldukları için söylediklerini yapmalısın!)

Bunu yorumlarda ele aldık, ancak bir cevapta da özetlenebilir - @DeerHunter, @Chris, @Sirex ve diğerleri tartışmaya katkıda bulundu

Bir Termal Görüntüleme Kamerası işi yapabilir ve aşırı ısınmanın nerede olduğunu belirlemenizi sağlar. Bunun gibi bir cihaz, duman dolu bir odada bir yangının veya yanmanın kaynağını da tanımlamanıza izin verir.

Söylenenlerin hiçbirini yapmıyorsun . Tehlikeli ortamdan ayrılırsınız çünkü tüm odanın içinden pompalanan her şey sağlığınız için tehlikelidir ve akciğerlerinizi gerçekten karıştırabilir. Odada bulamadığınız bir şeyin yanması gibi bir koku varsa, arayın (911 | 112 | 999 | ne olursa olsun, görevli bölgenize uygun acil durum numarası) şişelenmiş havada.

Bilgisayar parçaları, cıva , kadmiyum , kurşun ve kasalardaki birçok plastik dahil olmak üzere her türlü ilginç kimyasalları içerir. Yaptığım tüm bağlantıların düşük seviyeli maruz kalma sürelerinin kalıcı hasara veya hatta hızlı ölüme neden olabileceğini açıkladığına dikkat edin. Bu, yaşam ve sağlık için hemen tehlikeli olabilecek bir ortamdır .

... yani gerçekten, eğer bir şey yanıyorsa, saatleri dumanı koklamak için harcamayın. Tanımlayamıyorsanız ve hemen içerecek şekilde hareket ederseniz, çıkın.

UPS üzerinde uygun izlemeye sahipseniz (genellikle SNMP üzerinden), ünitenin kendisi izleme sisteminizde zilleri çalmış olmalıdır. Olmadıysa, satıcınızla bunun hakkında konuşun. Arızalı veya izleme sisteminiz uygun şekilde yapılandırılmamış.

Eğer aktif bir şey yanıyorsa, bir şekilde şikayette bulunmalı, ya da sadece şebekeden uzak olmalı, bu da bir alarma neden olmalıdır.

Yalıtım yoluyla yanan gerçek bir elektrik rayı gibi bir şeyse ve akıllı bir PDU'da değilse, o zaman asıl sorunuza geri dönersek, "yanan bir şeyi nasıl bulurum?" Ve bence doğru cevap "EPO’ya çarpın ve çözün. Üretim sunucularınız hayatınızı tehlikeye atacak kadar önemli değil."

Bu, bu durumlardan biri

geçerli değil, bir profesyonel çağırmalısınız

Başka bir şey sadece salak aptalca.

Eski kariyeri elektronik teknolojisi olan biri olarak, yangın olmayan "yanık kokular" konusunda deneyimim var. Bu nadir değildir.

Bir veri merkezini koku için kapatmazdım. Duman başka bir konudur, bir şey gerçekten yanmaktadır (genellikle, ancak bezelye büyüklüğündeki bir tantal kondansatör, bir odayı da dumanla doldurabilir). Bir güç kaynağındaki kızartılmış bir bileşenin yapabileceği koku ne kadar şaşırtıcı.

Bir TIC veya IR termometresi (kullanışlı bir alet ve bir TIC'den daha ucuz olan), bileşenin hiç ısı üretmediği ve bir kasanın içinde olduğu için mutlaka göstermez. Ancak çalışmayan cihazları kontrol edin, izleme araçlarını kullanın. Bunun gibi bir koku için zamanın% 95'i tüm cihazın performansını etkileyen bir güç kaynağı olacaktır.

IR görüntüleme veya termometre cevaplarını seviyorum, ancak belki de yardımcı olacak gerçek bir "koku dedektörü". Ne de olsa tetikte olan şey kokuydu. Duman, ısı, IR vb. Hepsi vekillerdir.

Bunun gibi bir şey: . Şahsen onları hiç kullanmadım ya da bir veri merkezinde kullandıklarını bile gördüm. Fakat en azından teorik olarak düzgün bir araç olmalı. Bu gizmoya harcayacak paran varsa.

http://www.sca-shinyei.com/odormeter veya http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Sınıflandırma yanı sıra size bir koku gücü verir. Bu yüzden kokuya dayanmak mümkün olmalıdır. Şeytanın seyri elbette. Ne kadar hassas, sahte fon kokusunu gidermek vb.

Tamamen sıcaklık esaslı ölçümlere göre bir avantaj, çoğu zaman kokunun çok daha erken bir noktada veya eşikte meydana gelmesidir. Ya da aşırı ısınmış bileşen bir gövde / gizli kablolama vb. İle gizlenirse, bir görüş hattı sıcak noktasından kaçan molekülleri tespit etmek daha kolaydır.

Bir başka durum da ısıyla ilgili olmayan bir koku. Daha önce bir soğutma devresi kaçağı geçirdik ve soğutucu kokular da tuhaftı. Kanallardaki eski kemirgen ölü vakalarına bile girmeyeceğim. :)

Bu sensörlerin ne kadar hassas olduğuna şaşırdım. Doğru şekilde H2S / merkaptanlar vs. (olağan suçlular) alt ppm seviyelerinde tespit edilebilir.