AIC ve Schwarz kriterlerini anlama

Lojistik bir model kullanıyorum. Gerçek model veri kümesinin 100'den fazla değişkeni var, ancak yaklaşık 25 değişkenin bulunduğu bir test veri kümesi seçiyorum. Ondan önce 8-9 değişkenli bir veri kümesi de yaptım. AIC ve SC değerlerinin modeli karşılaştırmak için kullanılabileceği söylendi. Değişkenin düşük p değerleri olsa bile modelin daha yüksek SC değerlerine sahip olduğunu gözlemledim (ör. 0053). Sezgime göre, anlamlılık düzeyi iyi değişkenleri olan bir model düşük SC ve AIC değerlerine yol açmalıdır. Ama bu gerçekleşmiyor. Birisi lütfen bunu açıklığa kavuşturabilir mi? Kısacası aşağıdaki soruları sormak istiyorum:

Değişken sayısının SC AIC ile bir ilgisi var mı?
P değerlerine mi yoksa düşük SC AIC değerlerine mi odaklanmalıyım?
SC AIC değerlerini azaltmanın tipik yolları nelerdir?

model-selection logistic aic

— ayuş biyani
kaynak

Yanıtlar:

$-2\log(\ell)+2k$ $k$ $p$

Aşırı takılma sorunlarından kaçınmak için değişken seçim yapmayı sağlayan cezalandırılmış regresyona bakmanızı öneririm . Bu, Frank Harrell'in Regresyon Modelleme Stratejileri'nde (s. 207 ff.) Veya Moons ve arkadaşlarında aşırı aktiflik için teşhis ve prognostik tahmin modellerini doğrudan ayarlamak için cezalandırılmış maksimum olasılık tahmini: klinik bir örnek , J Clin Epid (2004) 57 ( 12).

Ayrıca bkz. Design ( lrm) ve stepPlr ( step.plr) R paketleri veya cezalandırılmış paket. Bu SE'de değişken seçimiyle ilgili sorulara göz atabilirsiniz .

— chl
kaynak

Merhaba chl, Cevabınız için teşekkür ederim ... Cevabınızdan bazı bilgiler aldığımı itiraf ediyorum ... Anlayışımı koymama izin verin ve sonra lütfen yorum yapabilirsiniz. (1) Numune boyutunuz büyükse P değerlerinin düşebileceğine dair bir ipucu alıyorum ... - Öyle mi ?? Anladığım kadarıyla p değerleri sadece boş hipotezinizin reddedilip reddedilmediğini gösterebilir. (2) Şimdi anlıyorum ki AIC değerlerinde sadece kesişme ve ortak değişkenler ile fark görmem gerekiyor. Sanırım daha düşük AIC istediğimizi söylediğimizde aynı veri seti için kastediyoruz.

— Yorumumda

@ayush (1) test istatistikleri (örn. Wald) numune boyutuna bağlıdır (artan numune boyutuyla standart hata azalır ve muhtemelen daha büyük bir örnekle daha düşük p değerleri elde edersiniz). (2) evet, AIC iç içe geçmiş modelleri karşılaştırmak için kullanılabilse de, burada bunu artan karmaşıklığın farklı modellerini karşılaştırmanın bir yolu olarak düşünüyordum.

— chl

Tekrar teşekkürler .. Şimdi p değerinin özünü alıyorum. Bazı 5 dakika önce tüm değişkenler için .05'in altında p değerleri veren bir model çalıştırdım ama AIC 28238.407 sadece kesişme ve ortak değişkenler ile 21507.933. Ayrıca AIC'nin sadece kesişen ve 4234.xy değişkenleriyle 16035.xy olduğu bir vakam var. İki vakayı karşılaştıran görüşünüz nedir? Lütfen ikinci modelin 25 varyantı farklı iken 25 var. P değerleri herkes için .05 olmasına rağmen. Lütfen önermek ... bundan sonra sormak daha fazla .. Teşekkürler.

— ayush biyani

@ayush Değişkenlerin nasıl seçildiğini bilmeden model kalitesi hakkında cevap vermek zordur. AIC'de sadece bir kesişme ve bazı ortak değişkenler içeren bir model arasındaki boşluk, bu tahmin edicilerin "açıklayıcı gücü" hakkında bir gösterge verir (kalan sapma, gösterdiğiniz 2. durumda daha büyük ölçüde azalmış gibi görünür ve AIC, # parametreler yanıtımda söylediğim gibi). Bu yordayıcıların alaka düzeyi hakkında tam bir cevap yoktur. Daha spesifik bir soru (IMO) istemenizi öneririm, örn . Çalışmanız için GLM'lerde değişken seçim hakkında .

— chl

SC ve AIC'yi birlikte gruplamak YANLIŞ . İnsanlar onları ağır şekilde kötüye kullansalar da çok farklı şeyler. AIC bir şey tahmin ettiğinizde anlamlıdır, bu senaryoda SC kullanmak (her zaman değil) yanlış sonuçlara yol açabilir. Benzer şekilde, parsimony (Occam's Razor) SC modeli ile model seçimi yapmak istiyorsanız, SC daha iyidir. Teorik detaylara girmek istemiyorum, ama kısaca: SC - verilerinizi açıklamak için mümkün olan en basit modele eşdeğer bir şey istediğinizde parsimonious modeller için iyi, AIC - Tahmin etmek istediğinizde. AIC, gerçek modelinizin SC'nin yaptığı gibi model alanında olduğunu varsaymaz.

İkinci olarak, p-değerlerinin ve bilgi kriterlerinin birlikte kullanılması, chl tarafından açıklandığı gibi yanıltıcı olabilir .

— suncoolsu
kaynak