CloudFormation şablonlarında hızlı ve etkili bir şekilde nasıl hata ayıklayabilirim?

CloudFormation gibi AWS kaynak yığınlarından programatik oluşturulmasını sağlayan güçlü AWS sunan bir uygulama web katmanı, bir yüksek performanslı işlem kümesinin, ya da , tüm uygulama yığını tek API çağrısıyla. Son derece güçlüdür. Özellikle Chef, Puppet veya cloud-init ile birleştirildiğinde, onu kullanmak kesinlikle iyi bir AWS uygulaması olarak kabul edilir . Hata ayıklamak beni ahlaksızlığa itiyor.

Bir üretim örneğini ele alalım: Stok mongodb küme şablonları benim için çalışmayacak. Nedenini özellikle bilmiyorum. Eminim neredeyse her zaman olduğu gibi basit bir şeydir. Benim sorunum neyin yanlış olduğunu anlayamamak değil. Yığının başarısız olması 20 ila 30 dakika sürüyor ve ardından kaynakları düzgün bir şekilde sildiğini varsayarak silmek için üç veya dört dakika daha alıyor.

Neyi kaçırıyorum? --disable-rollbackBayrağı biliyorum ve onu oksijen gibi kullanıyorum. Uzun zaman önce çıkış mesajlarını sarmayı cfn-signalve batmakta olan bir geminin balastı gibi atmayı öğrendim . Şablon hata ayıklama sürecini nasıl daha hızlı hale getirebilirim, yoksa hatalarımı yaptıktan yarım saat sonra sonsuza dek fark edecek miyim?

aws cloudformation validate-templateAWS CLI aracındaki komutu kullanın . Anahtarlarınızın ve değerlerinizin doğru olup olmadığını değil, yalnızca şablonunuzun geçerli JSON veya YAML olup olmadığını doğrular (örneğin, anahtarlarda yazım hatalarını kontrol etmez)

Bir yıl sonra başka bir seçenek, bu şablonları troposfer gibi 3. taraf bir kitaplığa soyutlamaktır . Bu kütüphane JSON yükünü sizin için oluşturur ve yol boyunca pek çok doğrulama yapar. Bu aynı zamanda "1000 satırlık JSON dosyasını yönetmek gerçekten üzücü" sorununu da çözer .

Şablon hata ayıklama sürecini nasıl daha hızlı hale getirebilirim yoksa hatalarımı yaptıktan yarım saat sonra sonsuza dek fark edecek miyim?

Aşağıda, özellikle karmaşık CloudFormation şablonu geliştirmenin yineleme hızını artırmaya odaklanan birkaç en iyi uygulama önerisi verilmiştir:

Şablonları ve yığın güncellemelerini doğrulamak için CloudFormation araçlarını kullanın

AWS bunları kendi En İyi Uygulamalar belgesinde zaten özetledi , bu yüzden bunları tekrar etmeyeceğim:

• Şablonları Kullanmadan Önce Doğrulayın
• Yığınlarınızı Güncellemeden Önce Değişiklik Setleri Oluşturun

Bu adımın amacı, gerçekte bir Yığın oluşturma / güncelleme gerçekleştirmeden önce açık sözdizimi veya mantıksal hataları yakalamaktır.

Kaynakları tek tek test edin

Karmaşık bir Yığın içinde herhangi bir bağımsız CloudFormation Kaynağını kullanmadan önce, davranışlarını daha küçük, bağımsız Yığınlarda test ederek, bu Kaynağın kullanım sınırlamaları ve tipik başlatma / sökme süreleri dahil olmak üzere bu Kaynağın oluşturma / güncelleme / silme davranışını tam olarak anladığınızdan emin olun. ilk.

• Herhangi bir üçüncü taraf Özel Kaynağını geliştiriyor veya kullanıyorsanız, uygulama mantığının tüm kullanım durumlarında beklendiği gibi davrandığından emin olmak için dil platformu için uygun kitaplıkları kullanarak birim testleri yazın.
• Tek bir Kaynağın yaratma / güncelleme / silme süresinin, temel API çağrılarının davranışına bağlı olarak Kaynak Türleri arasında büyük ölçüde değişebileceğini unutmayın. Örneğin, karmaşık bir AWS::CloudFront::Distributionkaynağın oluşturulması / güncellenmesi / silinmesi bazen 30-60 dakika sürebilirken ,AWS::EC2::SecurityGroup , saniyeler içinde güncelleme olabilir.
• Bireysel Kaynakların uygulamalarında hatalar / sorunlar / sınırlamalar olabilir; bu, hata ayıklaması ve çok daha büyük bir Yığın içinde test edildiğinde geçici çözümler geliştirmesi çok daha kolaydır. Bireysel AWS Hesabı ayarlarınıza bağlı olarak AWS Hizmet Sınırları veya Yığını oluşturduğunuz Bölgeye bağlı olarak hizmetlerin Bölge Kullanılabilirliği gibi sınırlamaları aklınızda bulundurun .

Küçük artışlarla karmaşık yığınlar oluşturun

Bir Yığın oluşturma / güncelleme gerçekleştirirken, herhangi bir tek Kaynaktaki bir başarısızlık Yığının tüm Kaynak değişiklikleri kümesini geri almasına neden olur, bu da diğer başarıyla oluşturulmuş Kaynakları gereksiz yere yok edebilir ve uzun bir yığınla karmaşık bir yığın oluştururken çok uzun zaman alabilir. ilişkili Kaynakların bağımlılık grafiği.

Bunun çözümü, Yığınınızı artımlı olarak daha küçük Güncelleme grupları halinde oluşturmak ve her seferinde bir (veya birkaç) Kaynak eklemek. Bu şekilde, bir kaynak oluşturma / güncellemede bir hata meydana gelirse / meydana gelirse, geri alma işlemi tüm Yığının kaynaklarının yok edilmesine neden olmaz, yalnızca en son Güncellemede değiştirilen Kaynaklar kümesi.

Yığın güncellemelerinin ilerlemesini izleyin

Bir oluşturma / güncelleme gerçekleştirilirken yığının olaylarını görüntüleyerek Yığın Güncellemenizin İlerlemesini İzlediğinizden emin olun . Bu, tek tek kaynaklarla ilgili diğer sorunları ayıklamak için başlangıç ​​noktası olacaktır.

Eclipse için AWS Toolkit'te bulunan AWS CloudFormation Şablon Düzenleyicisine baktınız mı? Sözdizimi vurgulama, ifade tamamlama ve AWS CloudFormation'a dağıtım içerir.

Partiye geç kaldım ama, editörünüzü yapılandırmak ve öğrenmek için biraz zaman harcamaya değer olduğunu da ekleyebilirim. Bunun bir cevap olarak gülünç derecede basit olduğunu biliyorum ama deneyin.

Benim durumumda, json sözdizimi eklentilerini kurarken biraz zaman ayırdıktan sonra çok daha iyi performans gösterdim ve (sonunda) büyük CF dosyalarında kolayca gezinmek için katlama tekniklerini anladım. Mine artık yazım hatalarını (olmaması gereken yerde virgül vb.) Öneriyor ve renk vurgulama, net görsel ipuçları vererek çok zaman kazandırıyor.

Bu, sözdizimi hatalarının azaltılmasına yardımcı olabilir, ancak şablon içi mantıksal hatalar diğer araçlar tarafından daha iyi düzeltilebilir. Umarım bir gün CF'de bir "ön izleme" modu olur.

AWS CloudFormation linter ek statik analiz ötesinde, sağlaraws cloudformation validate-template

Belirli bölgelerde hangi kaynak türlerinin ve örnek türlerinin kullanılamayacağını size bildirir, izin verilen değerlere göre özellik değerlerini doğrular, döngüsel kaynak bağımlılıklarını yakalar, söz dizimi hataları, şablon sınırları ve çok daha fazlası

CLI'ye ek olarak, linter'ı çalıştırmayı hatırlamak için en popüler mekanizmalardan biri , her dosya kaydında çalışan Visual Studio Code uzantısı gibi bir düzenleyici eklentisi kurmaktır.

Git kancalarını önceden işleme gibi diğer mekanizmalar burada açıklanmıştır

JetBrains IDE'leri (IntelliJ IDEA PhpStorm WebStorm PyCharm RubyMine AppCode CLion Gogland DataGrip Rider Android Studio) için, JSON ve YAML CFN şablonlarının derinlemesine kontrolünü destekleyen AWS CloudFormation eklentisi mevcuttur.

EC2 makineleri ile uğraşıyorsanız, EC2 makinesine giriş yapmanızı ve boot.log dosyasını (RHEL6 / Centos'ta /var/log/boot.log) hazırlamanızı tavsiye ederim. Bu dosya, tüm kabuk etkinliklerinizle (yükleme, dosya indirme, dosya kopyalama vb. Etkinlikler) güncellenir.

Ayrıca, JSON'nuzun TREE temsilini almak için http://www.jsoneditoronline.org/ gibi editörleri kullanın . Bu, JSON öğelerinin sırasını kontrol etmenize yardımcı olur.

Dosyaları güncellediğinizde her zaman aşağıdaki gibi araçlar kullanın , komut dosyanızı bozabilecek bir şeyi yanlışlıkla değiştirmediğinizden emin olmak için http://www.git-tower.com/blog/diff-tools-mac/ veya gerçek bir sürüm kontrol sistemi .

AWS CLI aws cloudformation validate-templatekomutuna ek olarak, daha derinlemesine doğrulama yapan düğüm tabanlı bir cfn-check aracı vardır.

Geçtiğimiz Aralık ayında Cloudformation'a eklenen yeni bir özellik, ek Parametre Türlerinin eklenmesiydi . Bu yeni Türler, şablonlarınızın daha güçlü veri denetimi yapmasına olanak tanır ve ayrıca kaynaklar ve iç içe geçmiş Cloudformation yığınları oluştururken "hızlı hata yapabilir". Ayrıca, yeni ConstraintDescription özelliği kullanılarak geçersiz değerler iletildiğinde daha güzel, insan tarafından okunabilir özel hata mesajları sağlayabilirsiniz. .

Yeni türler özellikle çeşitli VPC kaynakları ile uğraşırken faydalıdır. Şablonlarınız için Parametrelerin doğru türde olduğundan ve Liste yerine tek bir değer beklemede açık olduğundan emin olabilirsiniz.

Örneğin:

"Parameters" : {
  "SingleGroup": { "Type": "AWS::EC2::SecurityGroup::Id", ...},
  "GroupList": {"Type": "List<AWS::EC2::SecurityGroup::Id>", ...}
}

Lütfen https://pypi.org/project/cloudformation-validator/ adresindeki bulut bilgi doğrulayıcımı kontrol edin

Bu, şemayı doğrulayacak ve daha sonra bir kurallar listesini tekrar doğrulayacak ve özel kurallara izin verecektir. Ayrıca dağıtım araçlarıyla kolay entegrasyona da izin veriyorum.

Ayrıca, CloudFormation Designer'dan Amazon'da şu adresten yararlanabilirsiniz: https://console.aws.amazon.com/cloudformation/designer/home?region=us-east-1

Şablonunuzu (JSON) "Şablon" bölmesine yapıştırın ve ardından şablonunuzu doğrulamak için onay işaretini tıklayın. Herhangi bir hata "Hata" bölmesinde görünecektir.

Bu yardımcı olur umarım.