Stokastik davranış gösteren programları test etmek için en iyi uygulamalar nelerdir?

Ar-Ge çalışmaları yaparken, genellikle davranışlarında büyük ölçüde rastgele olan programlar yazarken bulurum. Örneğin, Genetik Programlama'da çalışırken, genellikle rasgele rastgele kaynak kodu üreten ve yürüten programlar yazarım.

Bu tür kodları test etmeyle ilgili bir sorun, hataların genellikle aralıklı olması ve çoğaltılması çok zor olabilmesidir. Bu sadece rastgele bir tohumun aynı değere ayarlanıp uygulanmaya başlamasının ötesine geçer.

Örneğin, kod çekirdek halka arabelleğinden bir ileti okuyabilir ve ileti içeriğinde koşullu atlamalar yapabilir. Doğal olarak, halka tamponunun durumu, daha sonra sorunu yeniden oluşturmaya çalıştığında değişmiş olacaktır.

Bu davranış bir özellik olsa da, diğer kodu beklenmedik şekillerde tetikleyebilir ve bu nedenle genellikle birim testlerin (veya insan testçilerin) bulamadığı hataları ortaya çıkarır.

Bu tür sistemleri test etmek için belirlenmiş en iyi uygulamalar var mı? Öyleyse, bazı referanslar çok yardımcı olacaktır. Değilse, diğer önerilerinizi bekliyoruz!

Kesin durumları yeniden oluşturmak için, önerildiği gibi kanca eklemek yararlıdır. Ayrıca sistemi "tohumlarını" (PRNG tohumunun yanı sıra çekirdek halka tamponu ve diğer belirleyici olmayan girdi kaynakları da dahil olmak üzere) dökülebilecek şekilde düzenleyin.

Ardından, testlerinizi hem gerçek rastgele girdiyle hem de daha önce keşfedilen ilginç vakalarda regresyon stiliyle çalıştırın.

Çekirdeğe erişiminiz durumunda, her durumda alay etmenizi tavsiye ederim. Uygulamada görünme olasılığı daha düşük olan eşdeğerlik sınıflarını kaplar için "boş" ve "dolu" ruhu veya "0, 1, 2 ^ n, 2 ^ n + 1, birçok" sayılabilir şeyler. Ardından, şimdiye kadar düşündüğünüz vakaları ele aldığınızı ve test ettiğinizi bilerek, sahte ve gerçek şeyle test edebilirsiniz.

Temel olarak, önerdiğim, deterministik ve belirsiz olmayan girdilerin bir karışımıdır, deterministik olanlar aklınıza gelebilecek ve şaşırdığınızların bir karışımıdır.

Yapılacak makul bir şey, rastgele sayı üretecini testler için sabit bir değerle tohumlamaktır, böylece deterministik bir davranış elde edersiniz.

İstatistiksel testin tek yol olduğunu düşünüyorum. Tıpkı rasgele sayılar istatistiksel testlerle rasgelelik için "test edilir", bu nedenle rasgele davranış kullanan algoritmalar olması gerekir.

Algoritmayı aynı veya farklı girişlerle birden çok kez çalıştırın ve birbiriyle karşılaştırın. Bu yaklaşımdaki sorun, testi bitirmek için gereken hesaplama süresinde büyük bir artış.

Bu alanda uzman değilim, ancak stokastik program testine göre bilimsel bir literatür var.

Test sınıflarını kolayca oluşturamazsanız, #Euphoric'in söylediği gibi istatistiksel bir test kullanılabilir. Borning ve diğ. geleneksel ve istatistiksel yaklaşımları karşılaştırabilirler. @Euphoric tarafından önerilen istatistiksel testlerin genelleştirilmesi Whittaker tarafından tartışılan test olabilir. İstenen (sizin durumunuzda stokastik) davranışın stokastik bir modelini oluşturmayı ve daha sonra bu modelden belirli test senaryoları oluşturmayı önerdi ( özel makalesine bakın ).