Anlamlılık testi başlangıçta randomize grupları karşılaştırmak anlamlı mı?

Birçok randomize kontrollü çalışma (RCT) makalesi, grupların gerçekten benzer olduğunu göstermek için randomizasyondan hemen önce / önce temel parametreler üzerinde önem testleri rapor etmektedir. Bu genellikle "temel özellikler" tablosunun bir parçasıdır. Bununla birlikte, anlamlılık testleri, gözlemlenen (veya daha güçlü) bir farkı tesadüfen elde etme olasılığını ölçer, değil mi? Test önemliyse, gerçek bir fark olduğu sonucuna varırız, çünkü bu boyuttaki rastgele bir fark olası değildir . Herhangi bir farkın şansa bağlı olması gerektiğini bildiğimizde, randomizasyondan sonra bir anlamlılık testi anlamlı mıdır?

Bir hipotez testi saçma olurdu, ancak bir anlamlılık testi yararlı olabilir.

Hipotez testi, sorunuzun açıkladığı gibi, zaten doğru olduğu bilinen boş bir hipotezi test ediyor olacaktır. Tamamen güvenilir bilgilerle zaten bilinen bir doğruluk değeri olan herhangi bir hipoteze istatistiksel test uygulamak saçmadır.

Bir anlamlılık testi, daha önce de söylediğin gibi, sıfır hipotezi göz önüne alındığında verilerin aşırı veya aşırı uç olarak alınma olasılığını gösteren bir P değeri sağlar. Ancak bana öyle geliyor ki, böyle bir P değeri, "Bu seferki kadar büyük veya daha büyük olan taban çizgisi değerlerinde ne sıklıkta bir fark görmeyi bekleyebilirim?" Hangi amaç için net olmasa da cevap faydalı olabilir.