Çalışma zamanlarını deneysel olarak karşılaştırmak için herhangi bir standart var mı?

Benim durumum

Geliştirdiğim bir yazılım modülünü sunan bir makale yazıyorum ve çalışma zamanını aynı görev için diğer modüllerle karşılaştırmak istiyorum. Çalışma zamanı deneylerinin dezavantajlarının farkındayım , ancak benim durumumda bunun hiçbir yolu olmadığını varsayalım. (Bazı özellikleri teorik olarak çıkarabilirim ve yapabilirim, ancak her şey için yeterli değildir.)

Kıyaslama için kullanmak istediğim belirli senaryoların iki parametresi vardır: sorunun karmaşıklığı  ve ayrıntılı sorunu belirleyen rastgele bir tohum  . Temelde bağımlılığı göstermek istiyorum  . Ön araştırmalar ve teoriye göre, çalışma zamanı üzerindeki etkisi küçük veya ihmal edilebilir. Tek bir görevin tamamlanması en fazla on dakika sürer.$n$$r$$n$$r$

Gerçek soru

Bu tür deneyleri gerçekleştirmek için yaygın olarak kabul edilen veya yayınlanan bazı prosedürleri veya en azından ortak tuzakların bir listesini (ideal olarak yayınlanmış) arıyorum.

Şimdiye kadar bulduğum şey

Hiçbir şey değil. İnternet aramaları, her türlü alakasız sonucu ortaya çıkarır, ancak daha sonra doğru terminolojiyi kullanmıyor olabilirim. İyi bir standart olduğunu bildiğim minimum anahtar kelimeyi dahil etmek (aşağıya bakın) da yardımcı olmadı.

Nasıl yaparım

• Tüm denemeleri, mümkün olduğunca devre dışı bırakılan GUI gibi potansiyel olarak müdahale eden yazılımlarla aynı makinede gerçekleştirin.

• Tüm modülleri aynı senaryo seçimine tabi tutun, yani aynı ve  .$n$$r$

• Her senaryo için farklı modülleri birbiri ardına rastgele sırayla test edin. Başka bir deyişle, farklı modüller üzerindeki döngü en içteki modüldür. Bu, makinenin performansındaki yavaş dalgalanmalardan dolayı (örn. Sıcaklık değişimleri nedeniyle) farklı modüllerde yanlılığı önlemelidir. Rastgele sıra, önbellekleme veya bir modülün her zaman aynı modülden sonra test edilmesi gibi etkilerden yanlı olmamalıdır.

• Her bir , farklı tohumlar olan birkaç senaryo üzerinde asgari çalışma süresini ölçüt olarak alın. Bu, makinenin performansının bireysel çalışmalarını olağanüstü derecede kötü yapan kısa süreli dalgalanmaları nedeniyle farklı modüllere karşı önyargıdan kaçınmalıdır.$n$

CC McGeoch'un "Deneysel Algoritma Kılavuzu",

• algoritmalar üzerinde deneylerin nasıl ayarlanacağı,
• sonuçların nasıl yorumlanacağı ve kullanılacağı ve
• gerekirse daha anlamlı sonuçlara nasıl yineleneceği.

Her bir çalışma için geçen süreye ek olarak, yalnızca bazı sayıların sürekli olarak "düşük" olduğunu ve geçen süre üzerinde önemsiz bir etkiye sahip olduğunu doğrulamak için kullanıcı ve sistem modunun saniyelerini ve toplam IP paketlerini ve toplam disk G / Ç'lerini bildirin.

Https://wiki.freebsd.org/BenchmarkAdvice PHK ve diğerleri üzerinde aşağıdakiler de dahil olmak üzere iyi tavsiyeler sunar:

Sayılarınızın anlamlı olup olmadığını görmek için ministat kullanın. "İstatistikler için karikatür kılavuzu" satın almayı düşünün