AIC kriterine göre kademeli bir seçim yapıldıktan sonra, her gerçek regresyon katsayısının sıfır olduğunu belirten boş hipotezi test etmek için p-değerlerine bakmak yanıltıcıdır.
Gerçekten de, p değerleri, boş hipotezin doğru olduğu durumlarda, en az sahip olduğunuz kadar uç bir test istatistiği görme olasılığını temsil eder. Eğer H0 doğrudur, p-değeri, bir homojen dağılımına sahip olmalıdır.
Ancak, kademeli seçimden sonra (ya da gerçekten, model seçimine yönelik başka çeşitli yaklaşımlardan sonra), modelde kalan terimlerin p değerleri, sıfır hipotezinin doğru olduğunu bildiğimiz halde bile, bu özelliğe sahip değildir.
Bunun nedeni, küçük p-değerlerine sahip veya sahip olma eğiliminde olan değişkenleri seçmemizdir (kullandığımız kesin kriterlere bağlı olarak). Bu, modelde bırakılan değişkenlerin p değerlerinin, tek bir modele sahip olmamızın normalden çok daha küçük olduğu anlamına gelir. Seçimin, eğer gerçeklerin gerçek modelini içermesi veya gerçeklerin gerçek modelini yakından takip edebilecek kadar esnek olması durumunda, gerçek modelden daha iyi görünen ortalama seçim modellerinde olacağına dikkat edin.
[Ek olarak ve temelde aynı sebepten ötürü, kalan katsayılar sıfırdan uzak tutulur ve standart hataları önyargılıdır; bu da güven aralıklarını ve öngörülerini etkiler - tahminlerimiz örneğin çok dar olacaktır.]
Bu etkileri görmek için, bazı katsayıların 0 olduğu ve bazılarının olmadığı çoklu regresyon yapabiliriz, adım adım bir işlem uygulayabilir ve sonra sıfır katsayılı değişkenler içeren modeller için, sonuçta ortaya çıkan p-değerlerine bakabiliriz.
(Aynı simülasyonda katsayılar için tahminlere ve standart sapmalara bakabilir ve sıfır olmayan katsayılara karşılık gelenleri de keşfedebilirsiniz.)
Kısacası, normal p-değerlerini anlamlı olarak kabul etmek uygun değildir.
Bunun, modelde kalan tüm değişkenleri anlamlı bulması gerektiğini duydum.
Modeldeki adım adımdan sonra tüm değerlerin “önemli” olarak kabul edilip edilmemesi gerektiğine gelince, bunun ne kadar yararlı bir yol olacağından emin değilim. O zaman kastedilen "önem" nedir?
İşte stepAICRs'nin n = 100 ile 1000 benzetilmiş örnek üzerinde varsayılan ayarlarla çalıştırılması ve on aday değişken (bunların hiçbiri cevap ile ilgili değil). Her durumda modelde kalan terimlerin sayısı sayıldı:
Zamanın yalnızca% 15,5'i seçilen doğru modeldi; modelin geri kalanı sıfırdan farklı olmayan terimler içeriyordu. Aday değişkenler kümesinde sıfır katsayılı değişkenler olması gerçekten mümkün ise, modelimizde gerçek katsayının sıfır olduğu birkaç terimimiz olabilir. Sonuç olarak, hepsini sıfır olmayan olarak kabul etmek iyi bir fikir değildir.