Bana göre sorun, temel db iyi desteklenmeyen performans metriklerini test etmeye çalışıyor olmasıdır. Bu, sistemler arasındaki performansı karşılaştırmayı çok zorlaştırır, çünkü temeldeki yaklaşımlar çok farklıdır. RDBMS türü yaklaşımlar için ORDBMS türü yaklaşımların karşılaştırılması için elma ile elma karşılaştırması yapabileceğinizi düşünmediğim için elma ile elma karşılaştırması yapmanın mümkün olduğunu düşünmüyorum. Performans kaygıları çok farklıdır ve Stonebraker, TPC-C testleri için bir ORDBMS'yi optimize etmek noktayı kaçırırsa, o zaman daha da uzak olan sistemler için bu imkansız olacaktır. (Ancak, sadece ORDBMS işlevselliğinin devreye girdiği yerde olduğunu düşünüyorum.)
Dürüst olmak gerekirse, her sistemi nasıl kullanacağınıza bakmak ve her biriyle alacağınız yaklaşıma dayalı bir kıyaslama aracı oluşturmak olduğunu düşünüyorum. Ardından, en azından bu iş akışı için karşılaştırmanın belirli bir şey gösterdiğini söyleyebilirsiniz. Ancak nasıl genelleme yapabileceğinizi anlamıyorum. Çeşitli motorlarda test çalışmasında zamanın nerede geçtiği hakkında ek bilgi almak için bir profiler içinde çalıştırabilirsiniz.
Bununla birlikte, db kıyaslamasının en iyi koşullarda anlamlı hale getirilmesi çok zordur ve benzer sistemleri karşılaştırdığınızda genelleme yapmak imkansız hale gelir.