Birim testlerini seri olarak yürütün (paralel yerine)

Yazmış olduğum bir WCF ana bilgisayar yönetim motorunu birim test etmeye çalışıyorum. Motor temelde, konfigürasyona bağlı olarak anında ServiceHost örnekleri oluşturur. Bu, yeni bir hizmet eklendiğinde veya eski bir hizmet kaldırıldığında, tüm hizmetlerin kapatılmasına ve yeniden başlatılmasına gerek kalmadan hangi hizmetlerin mevcut olduğunu dinamik olarak yeniden yapılandırmamızı sağlar.

Bununla birlikte, ServiceHost'un çalışma şekli nedeniyle bu ana bilgisayar yönetim motorunu test etmede bir güçlükle karşılaştım. Bir ServiceHost önceden oluşturulmuş, açılmış ve belirli bir uç nokta için henüz kapatılmamışsa, aynı uç nokta için başka bir ServiceHost oluşturulamaz ve bu da bir istisnaya neden olur. Modern birim test platformlarının test yürütmelerini paralel hale getirmesi nedeniyle, bu kod parçasını birim test etmenin etkili bir yolu yok.

Genişletilebilirliği nedeniyle, testleri seri olarak çalıştırmaya zorlamanın bir yolunu bulabileceğimi umarak xUnit.NET kullandım. Ancak hiç şansım olmadı. Burada SO'daki birinin benzer bir sorunla karşılaştığını ve birim testlerinin seri olarak nasıl çalıştırılacağını bildiğini umuyorum.

NOT: ServiceHost , Microsoft tarafından yazılmış bir WCF sınıfıdır. Onun davranışını değiştirme yeteneğim yok. Her hizmet uç noktasını yalnızca bir kez barındırmak da doğru davranıştır ... ancak, özellikle birim testi için elverişli değildir.

Her test sınıfı benzersiz bir test koleksiyonudur ve altındaki testler sırayla çalışacaktır, bu nedenle tüm testlerinizi aynı koleksiyona koyarsanız, sırayla çalışacaktır.

XUnit'te bunu başarmak için aşağıdaki değişiklikleri yapabilirsiniz:

Aşağıdakiler paralel olarak çalışacaktır:

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

Sıralı hale getirmek için her iki test sınıfını da aynı koleksiyonun altına koymanız yeterlidir:

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

Daha fazla bilgi için bu bağlantıya başvurabilirsiniz

Önemli: Bu yanıt .NET Framework için geçerlidir. Dotnet çekirdeği için Dimitry'nin cevabına bakın xunit.runner.json.

Tüm iyi birim testleri% 100 izole edilmelidir. Paylaşılan durumun kullanılması (örneğin static, her test tarafından değiştirilen bir özelliğe bağlı olarak) kötü uygulama olarak kabul edilir.

Bunu söyledikten sonra, xUnit testlerini sırayla çalıştırmayla ilgili sorunuzun bir cevabı var! Tam olarak aynı sorunla karşılaştım çünkü sistemim statik bir servis bulucu kullanıyor (ki bu idealden daha az).

Varsayılan olarak xUnit 2.x, tüm testleri paralel olarak çalıştırır. Bu, CollectionBehaviortest projenizdeki AssemblyInfo.cs dosyanızda tanımlanarak derleme başına değiştirilebilir .

Montaj başına ayırma kullanımı için:

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

veya hiç paralelleştirme için kullanılmaz:

[assembly: CollectionBehavior(DisableTestParallelization = true)]

İkincisi muhtemelen istediğiniz şeydir. Paralelleştirme ve yapılandırma hakkında daha fazla bilgi xUnit belgelerinde bulunabilir .

.NET Core projeleri için xunit.runner.jsonşununla oluşturun :

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

Ayrıca, csprojiçermeli

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

Eski .Net Core projeleri için project.jsonşunları içermelidir:

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

.NET Core projeleri için, xUnit'i https://xunit.github.io/docs/configuring-with-json.html adresindexunit.runner.json belgelendiği gibi bir dosya ile yapılandırabilirsiniz .

Paralel test yürütmeyi durdurmak için değiştirmeniz gereken ayar parallelizeTestCollections, varsayılan olarak şudur true:

trueMontaj, bu montaj içinde birbirine paralel olarak testler yapmaya istekli ise bunu olarak ayarlayın . ... falseBu test derlemesindeki tüm paralelleştirmeyi devre dışı bırakmak için bunu ayarlayın .

JSON şema türü: boolean
Varsayılan değer:true

Yani xunit.runner.jsonbu amaç için bir asgari

{
    "parallelizeTestCollections": false
}

Dokümanlarda belirtildiği gibi, bu dosyayı aşağıdaki yollarla yapınıza eklemeyi unutmayın:

• Ayar Output Directory Kopyala için eğer kopyala yeni dosyanın içinde Özellikleri Visual Studio veya içinde

• Ekleme

  <Content Include=".\xunit.runner.json">
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </Content>
  

  sizin için .csprojdosyaya veya

• Ekleme

  "buildOptions": {
    "copyToOutput": {
      "include": [ "xunit.runner.json" ]
    }
  }
  

  senin için project.jsondosyanın

proje türünüze bağlı olarak.

Son olarak, yukarıdakilere ek olarak, Visual Studio kullanıyorsanız, Testleri Paralel Olarak Çalıştır düğmesini yanlışlıkla tıklamadığınızdan emin olun; bu, paralelizasyonu içinde kapatmış olsanız bile testlerin paralel olarak çalışmasına neden olur xunit.runner.json. Microsoft'un kullanıcı arabirimi tasarımcıları, yanlışlıkla vurma şansınızı en üst düzeye çıkarmak ve neden testlerinizin neden olduğu hakkında hiçbir fikriniz olmadan Test Gezgini'ndeki "Tümünü Çalıştır" düğmesinden yaklaşık bir santimetre uzakta bu düğmeyi etiketsiz, fark edilmesi zor ve bir santimetre uzağa yaptı aniden başarısız oluyor:

Bu eski bir soru ama benim gibi yeni arayan kişilere bir çözüm yazmak istedim :)

Not: Bu yöntemi xunit 2.4.1 sürümü ile Dot Net Core WebUI entegrasyon testlerinde kullanıyorum.

NonParallelCollectionDefinitionClass adlı boş bir sınıf oluşturun ve ardından aşağıdaki gibi bu sınıfa CollectionDefinition özniteliğini verin. (Önemli kısım, DisableParallelization = doğru ayardır.)

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

Daha sonra aşağıdaki gibi paralel çalışmasını istemediğiniz sınıfa Collection niteliğini ekleyin. (Önemli kısım koleksiyonun adıdır. Koleksiyon Tanımlamasında kullanılan adla aynı olmalıdır)

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

Bunu yaptığımızda öncelikle diğer paralel testler çalıştırılır. Bundan sonra Collection ("Non-Parallel Collection") özniteliğine sahip diğer testler çalıştırılır.

Oynatma Listesini Kullanabilirsiniz

test yöntemine sağ tıklayın -> Oynatma listesine ekle -> Yeni oynatma listesi

daha sonra yürütme sırasını belirtebilirsiniz, varsayılan olarak bunları yürütme listesine eklediğinizde, ancak çalma listesi dosyasını istediğiniz gibi değiştirebilirsiniz

Ayrıntıları bilmiyorum ama görünüşe göre birim testi yerine entegrasyon testi yapmaya çalışıyor olabilirsiniz . Bağımlılığı izole edebilirseniz , bu muhtemelen testinizi daha kolay (ve daha hızlı) yapacaktır. Yani (örneğin) aşağıdakileri bağımsız olarak test edebilirsiniz:ServiceHost

• Yapılandırma okuma sınıfı
• ServiceHost fabrikası (muhtemelen bir entegrasyon testi olarak)
• Bir IServiceHostFactoryve bir alan motor sınıfıIConfiguration

İzolasyon (alay) çerçevelerini ve (isteğe bağlı olarak) IoC konteyner çerçevelerini dahil etmeye yardımcı olacak araçlar. Görmek:

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

Belki Advanced Unit Testing'i kullanabilirsiniz . Testi çalıştırdığınız sırayı tanımlamanıza olanak tanır . Dolayısıyla, bu testleri barındırmak için yeni bir cs dosyası oluşturmanız gerekebilir.

Test yöntemlerini istediğiniz sırada çalışması için nasıl bükebileceğiniz aşağıda açıklanmıştır.

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

Çalışıp çalışmadığını bana bildirin.

Benim için .Net Core Konsol uygulamasında, eşzamanlı olarak test yöntemlerini (sınıfları değil) çalıştırmak istediğimde, işe yarayan tek çözüm bu blogda açıklanan şuydu: xUnit: Test Yürütme Sırasını Kontrol Edin

Bir temel sınıfa [Koleksiyon ("Sıralı")] özelliğini ekledim :

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

Şimdiye kadar önerilen cevapların hiçbiri benim için işe yaramadı. XUnit 2.4.1 ile bir dotnet çekirdek uygulamam var. Bunun yerine her birim testine bir kilit koyarak bir geçici çözümle istenen davranışı elde ettim. Benim durumumda, çalışma düzeni umrumda değildi, sadece testler sıralıydı.

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}