Jenkins - Hangi testlerin tekrar tekrar başarısız olduğunu nasıl öğrenebilirim?

CI ve Jenkins için yeniyim. Bir web hizmetinde Testng tabanlı otomatik testleri çalıştıran bir Java projesi var. Otomasyon testleri Jenkins'te bir iş olarak düzenli olarak çalışır. Bazen, iş uzun süre art arda başarısız olur. Ancak, her çalışmada, test hatası sayısı farklıdır. Hangi testlerin tekrar tekrar başarısız olduğunu görmek istiyorum. Bununla araştırmam gereken test başarısızlıklarının sayısını azaltabilirim. Son 5 çalışmada hepsini tekrarlamayan arızalar daha sonra göz ardı edilebilir veya araştırılabilir.

Birisi geçmiş N çalışmalarında hangi testlerin tekrar tekrar başarısız olduğunu nasıl bulabileceğimi önerebilir mi?

Bir testin bir boru hattındaki yapının nesnesinden başarısız olma sayısını alabilir: küçük bir rapor hazırlayabilir ve bunu yapınıza şu şekilde ekleyebilirsiniz:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

saveRepeatedlyFailingTestsReportTest sonuçlarınızı topladıktan sonra arayın ve raporu en son derleme yapılarınızda görebilirsiniz.

Testlerin eğilimlerini analiz etmek için Jenkins'in Test Sonucu Analizörü eklentisini kullanabilirsiniz.

Test Sonucu Analizörü eklentisi

Youtube'dan Video Eğitimi

Kurulum :

1. Jenkins Dashboard'da Jenkins'i Yönet'i tıklayın
2. Menüden Eklentileri Yönet'i seçin
3. Tıklayın Mevcut sekmesi ve giriş analizörü Filtre arama kutusuna
4. Test Sonuçları Analizörünün solundaki onay kutusuna tıklayın ve Yeniden başlatmadan yükle düğmesine tıklayın

Kullanımı :

1. Projeye gidin ve Yapılandır'ı tıklayın
2. Derleme Sonrası İşlemler bölümüne gidin ve Derleme sonrası işlem ekle açılır menüsünden JUnit test sonucu raporunu yayınla'yı seçin
3. Test raporu XML'leri alanında, projedeki TestNg / JUnit xml dosyasının yolunu belirtin. Örneğin - **/target/test-results/*.xmlbenim durumumda
4. Yapılandırmayı kaydedin
5. Ardından başarılı bir derlemeden sonra projenize gidin ve sol taraftaki menüden Test Sonuçları Analizörünü tıklayın