Lojistik regresyon için Hosmer-Lemeshow ve AIC

Hosmer-Lemeshow uyum eksikliğini gösteriyor ancak AIC tüm modeller arasında en düşükse .... yine de modeli kullanmalı mısınız?

Bir değişkeni silersem, Hosmer-Lemeshow istatistiği önemli değildir (yani, tam uyum eksikliği yoktur). Ancak AIC artar.

Düzenleme : Genel olarak, farklı modellerin AIC's birbirine yakın (yani ) varsa o zaman temelde aynı olduğunu düşünüyorum. Ancak AIC'ler çok farklı. Bu, Hosmer-Lemeshow testi aksini belirtmesine rağmen, en düşük AIC değerine sahip olanın kullanmam gerektiğidir. $<2$

Ayrıca HL testi sadece büyük numuneler için geçerlidir? Küçük örnek boyutları için düşük güce sahiptir (örnek boyutum ~ 300'dür). Ama önemli bir sonuç elde edersem ... Bu düşük güçle bile reddedildiğim anlamına gelir.

AICc'yi AIC'ye karşı kullanırsam bir fark yaratır mı? SAS'ta AICc'leri nasıl edinebilirsiniz? Çokluk ile ilgili sorunlar olabileceğini biliyorum. Ancak a priori , değişkenlerin sonuç üzerinde bir etkisi olduğunu varsaymaktadır.

Herhangi bir yorum?

Edit2 : Ben modeli daha az değişken ve anlamlı olmayan HL ile daha yüksek AIC ile kullanmalıyım düşünüyorum. Bunun nedeni, değişkenlerin ikisinin birbiriyle ilişkili olmasıdır. Yani birinden kurtulmak mantıklı.

regression logistic hosmer-lemeshow-test

— Thomas
kaynak

Tüm modellerinizin önemsiz olabileceğini dikkate alın.

@mbq: Bu nasıl yardımcı oluyor?

— Thomas

Önemli olmayan bir grup modelde bile en iyi AIC'ye sahip bir model var. Her neyse, lütfen sorunuzu genişletmek için cevapları kullanmayın.

Hosmer-Lemeshow testi bir dereceye kadar geçersizdir, çünkü tahmin edilen olasılıkların keyfi olarak gruplandırılmasını gerektirir ve kalibrasyon eksikliğini tespit etmek için mükemmel güce sahip değildir. Ayrıca, modelin aşırı takılması için tam olarak cezalandırmaz. Hosmer, DW; Hosmer, T .; le Cessie, S. ve Lemeshow, S. Lojistik regresyon modeli için uyum iyiliği testlerinin karşılaştırması. Tıpta İstatistikler , 1997, 16 , 965-980. Yeni önlemleri Rrmspaketlemek. Daha da önemlisi, bu tür bir değerlendirme sadece genel model kalibrasyonunu (öngörülen ve gözlemlenen arasındaki anlaşma) ele alır ve bir öngörücüyü yanlış dönüştürmek gibi uyum eksikliğini ele almaz. Bu nedenle, biri test edilen diğerinden daha esnek olan iki modeli karşılaştırmak için AIC kullanmazsanız AIC de yapmaz. Bence endeks (ROC alanı) ile desteklenen genel bir ölçüsünün daha uygun olabileceği öngörücü ayrımcılıkla ilgileniyorsunuz . $R^2$ $c$

— Frank Harrell
kaynak

Olasılık oranı testini kullanmak, en düşük AIC'ye sahip modelin uyum iyiliğini değerlendirmek için daha iyi olur mu? Çünkü bu test uyum olmadığını gösterir.

— Thomas

2'den fazla modelin AIC'lerine bakmak, bazı seçim yanlılığı / aşırı sığdırma ile sonuçlanacaktır. AIC, yukarıda verdiğim bağlam dışında uyum iyiliğini açıkça değerlendirmez. Uyumun değerlendirilmesinin en iyi yolu, kesintisiz pürüzsüz parametrik olmayan bir kalibrasyon grafiği kullanarak iyi kalibrasyon göstermek ve modeli daha iyi tahmin edebilecek daha karmaşık bileşenler için çok az kanıt göstermektir.

— Frank Harrell

Bu araçların hiçbirine erişimim olmadığını varsayarsak. Anlamlı olmayan bir HL testine sahip Model A'nın ayrıca anlamlı bir HL testine sahip Model B'den bir tane daha az değişkeni vardır. Sadece bu iki modeli karşılaştırıyorum. Model A en düşük AIC'ye ve model B çok daha yüksek bir AIC'ye sahiptir.

— Thomas

Yani Model B en düşük AIC'ye ve Model A çok daha yüksek bir AIC'ye sahipti.

— Thomas

Yukarıdakilerin hepsini incelediğinizden emin değilim. Genellikle rekabetçi öngörücü ayrımcılığa sahip bir model seçer, daha sonra ayrımcılık endeksinin sadece fazla takma nedeniyle iyi olmadığını ve ardından modelin kalibrasyonunu doğrularız. Son adım en iyi yüksek çözünürlüklü pürüzsüz parametrik olmayan kalibrasyon eğrisi kullanılarak yapılır. Bütün bunlar R rmspaketinde uygulanır. Ve değişkenleri seçmek için -değerlerini kullanmanın başka bir yolu olan birçok modelin AIC'sini karşılaştırmaktan kaçının . Yalnızca önceden belirlenmiş 2 modeli karşılaştırıyorsanız sorun olmaz.

P

$P$

— Frank Harrell