Hesaplamalı deneyler yapmak için yönergeler nelerdir?

Fizik, biyoloji, kimya vb. Deney yapmak için farklı kurallara sahiptir: hangi olayların ilgili olduğu düşünülür, numunelerin kontaminasyonu nasıl önlenir, bir üreme sürecinin nasıl oluşturulacağı ve düzeltileceği vb.

Sayısal deneylerde doğruluğu ve tekrarlanabilirliği sağlayan standartlar, protokoller ve en iyi uygulamalar nelerdir?

Hesaplama deneylerinin sonuçlarının nasıl tasarlanacağı, yürütüleceği ve raporlanacağı hakkında çok şey yazıldı. Bunun açık kaynaklı yazılımlar ve daha geniş "açık bilim" hareketi ile bariz bağlantıları vardır. Diğer önemli bir konu da "kodum sizinkinden daha hızlı" araştırma ve algoritmaların özelliklerini daha iyi anlamamıza yardımcı olan araştırma arasındaki farktır.

İncelemek isteyebileceğiniz hesaplama deneyleri ve testlere ilişkin bazı referanslar şunlardır:

Tabut, Marie ve Matthew J. Saltzman. 2000. “ Algoritmalar ve Buluşsal Yöntemlerin Hesaplamalı Testlerinin İstatistiksel Analizi .” INFORMS Bilgi İşlem Dergisi 12 (1): 24–44.

Crowder, Harlan, Ron S. Dembo ve John M. Mulvey. 1979. “ Matematiksel Yazılımla Hesaplamalı Deneyleri Rapor Etme Üzerine .” Matematiksel Yazılımda ACM İşlemleri (TOMS) 5 (2): 193-203.

Feitelson, Dror G. 2006. “ Deneysel Bilgisayar Bilimi: Kültürel Değişim Gerekliliği .”

Hooker, John N. 1995. “ Sezgisel Testler: Her Şey Yanlış . Buluşsal Yöntemler Dergisi 1 (1): 33–42.

McGeoch, Catherine C. 2012. Deneysel Algoritma Rehberi. Cambridge Üniversitesi Yayınları.