Çoklu doğrusal regresyon modeline dahil edilecek değişkenleri seçme

Şu anda çoklu doğrusal regresyon kullanarak bir model oluşturmak için çalışıyorum. Modelimle uğraştıktan sonra, hangi değişkenleri koruyacağımı ve hangilerini kaldıracağımı en iyi nasıl belirleyeceğime emin değilim.

Modelim DV için 10 belirteçle başladı. 10 öngörücüyü de kullanırken, dördü önemli olarak kabul edildi. Açıkça yanlış olan tahmin edicilerin sadece bir kısmını kaldırırsam, başlangıçta anlamlı olmayan tahmincilerimden bazıları önemli hale gelir. Hangisi sorumu bana yönlendiriyor: Bir kişi, hangi tahmin edicilerin modellerine dahil edileceğini belirlemeye nasıl devam ediyor? Bana öyle geliyor ki, modeli tüm tahmincilerle bir kez çalıştırmalı, anlamlı olmayanları çıkarmalı ve sonra tekrar çalıştırmalısınız. Ancak, bu öngörücülerden yalnızca bazılarını kaldırmak diğerlerini önemli kılıyorsa, tüm bunlara yanlış bir yaklaşım alıp almadığımı merak ediyorum.

Bu konunun sorumla aynı olduğuna inanıyorum , ancak tartışmayı doğru yorumladığımdan emin değilim. Belki de bu daha çok deneysel bir tasarım konusudur, ancak belki birileri paylaşabilecekleri bir deneyime sahiptir.

Yorumuma verdiğin tepkiye dayanarak:

Tahmini arıyorsun. Dolayısıyla, katsayıların önemine gerçekten de (in) güvenmemelisiniz. Sen daha iyi olurdu

• Tahmininizi en iyi şekilde açıklayan bir kriter seçin (örn. Sınıflandırma oranı, YGY AUC, ağırlıkların bir kısmı,…)
• İçin her bir ilgi modeli , bu kriteri değerlendirir. Bu, örneğin bir onaylama seti (şanslı ya da zenginseniz), çapraz onaylama (tipik olarak on kat) yoluyla veya ilgilendiğiniz kriterin izin verdiği diğer seçeneklerle sağlanabilir. Mümkünse, her bir model için ölçüt SE değerinin bir tahminini bulun (örneğin, çapraz değerlemede farklı katlar üzerindeki değerleri kullanarak)
• Artık modeli, ölçütün en iyi değeri ile seçebilirsiniz, ancak genellikle en iyi değerin bir SE'si dahilindeki en temel modeli (en az değişken) seçmeniz önerilir.

İlgilenilen her model için : burada oldukça dikkat çekici . 10 potansiyel tahminciyle, bu potansiyel modellerin bir kamyon yüküdür. Bunun için zamanınız veya işlemcileriniz varsa (veya verilerinizin yeterince hızlı olması ve değerlendirilebilmesi için verileriniz yeterince küçükse): bir top bulundurun. Olmazsa, bu konuda eğitimli tahminler, ileri veya geri modelleme (ancak önem yerine ölçüt kullanarak) veya daha da iyisi yapılabilir: makul bir model kümesi seçen bazı algoritmalar kullanın. Bunu yapan bir algoritma cezalı regresyon, özellikle de Lasso regresyonudur. R kullanıyorsanız, glmnet paketini takmanız yeterlidir ve hemen hazırsınız.

Buna basit bir cevap yok. Önemli olmayan açıklayıcı değişkenlerin bazılarını kaldırdığınızda, bunlarla ilişkili olan diğerleri önemli olabilir. Bunda yanlış bir şey yok, ancak model seçimini bilimden ziyade en azından kısmen sanat yapıyor. Bu nedenle deneyler, bu sorunu önlemek için açıklayıcı değişkenleri birbirine dik tutmayı amaçlar.

Geleneksel olarak analistler, modele değişkenleri bir seferde bir tane (yaptığınıza benzer şekilde) ekleme ve çıkarma ve bunları tek tek veya küçük gruplar halinde t veya F testleriyle test etme yöntemini kullandılar. Bununla ilgili sorun, birleşik efektlerinin (veya efektsiz) eşdüzeylik tarafından gizlendiği durumlarda çıkarmak (veya eklemek) için bazı değişken kombinasyonlarını kaçırabilmenizdir.

Modern bilgi işlem gücüyle, 2 ^ 10 = 1024 olası açıklayıcı değişken kombinasyonlarının hepsine uyacak ve örneğin AIC, BIC veya tahmin gücü gibi olası kriterler arasından en iyi modeli seçebilirsiniz (örneğin, değerleri tahmin etme yeteneği). modele uydurmak için kullandığınız kümeden ayırdığınız verilerin bir test alt kümesinin). Ancak, 1024 modelin (örtük veya açık) testini yapacaksanız, p-değerlerinizi klasik yaklaşımdan yeniden düşünmeniz gerekecektir - dikkatli davranın ...

Yalnızca prediktif performans ile ilgileniyorsanız, o zaman tüm özellikleri kullanmak ve eğitim örneğine fazla uymamak için sırt regresyonunu kullanmak daha iyidir. Bu esasen Millar'ın “regresyondaki alt küme seçimi” monografının ekinde verilen tavsiyedir , bu nedenle makul bir soyağacı ile birlikte gelir!

Bunun nedeni, sabit bir veri örneğine dayanan bir performans tahminine dayanan bir alt kümeyi (ör. AIC, BIC, çapraz doğrulama vb.) Seçmeniz durumunda, seçim ölçütünün sınırlı bir varyansa sahip olması ve seçim ölçütünün kendisine aşırı uyuyor. Başka bir deyişle, seçim ölçütünü en aza indirgemenizle başlamak için, genelleme performansı artacaktır, ancak seçim ölçütünü ne kadar fazla azaltıyorsanız o kadar kötü genelleme olur Eğer şanssızsanız, başladığınızdan daha kötü performans gösteren bir regresyon modeli ile kolayca sonuçlanabilirsiniz (yani tüm özelliklere sahip bir model).

Bu özellikle, veri kümesi küçük olduğunda (yani seçim kriteri yüksek bir varyansa sahipse) ve birçok olası model seçeneği olduğunda (örneğin, özelliklerin kombinasyonunu seçmek) olasıdır. Düzenlenmesi, ayarlanması gereken skalar bir parametre olduğu için aşırı uyuma daha az eğilimli görünmektedir ve bu, modelin karmaşıklığına daha kısıtlı bir bakış açısı sunmaktadır, yani seçim kriterine uyması için daha az etkili serbestlik derecesi .

Artık kitaplığı kullanın. Değişkenleri çizdiğinizde y ekseni düzeltilmiş R ^ 2 gösterir. Kutuların en yüksek R ^ 2 değerinde siyah olduğuna bakarsınız. Bu, çoklu doğrusal regresyonunuz için kullanmanız gereken değişkenleri gösterecektir.

Aşağıdaki şarap örneği:

library(leaps)
regsubsets.out <-
  regsubsets(Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop,
         data = wine,
         nbest = 1,       # 1 best model for each number of predictors
         nvmax = NULL,    # NULL for no limit on number of variables
         force.in = NULL, force.out = NULL,
         method = "exhaustive")
regsubsets.out

#----When you plot wherever R^2 is the highest with black boxes,
#so in our case AGST + HarvestRain + WinterRain + Age and the dependent var.is Price----#
summary.out <- summary(regsubsets.out)
as.data.frame(summary.out$outmat)
plot(regsubsets.out, scale = "adjr2", main = "Adjusted R^2")

Adım işlevini Akaike bilgi kriterinde de kullanabilirsiniz. Aşağıdaki örnek https://en.wikipedia.org/wiki/Akaike_information_criterion

StepModel = step(ClimateChangeModel)

Neden korelasyon analizi yapmıyorsunuz Önce ve sonra sadece Dv ile ilişkili olanları regresyona dahil edin?

Danışmanım bunun için başka bir yol önerdi. Tüm değişkenlerinizi bir kez çalıştırın ve ardından bazı eşiği karşılamayanları kaldırın (eşiğimizi p <.25 olarak ayarladık). Tüm değişkenler bu .25 değerinin altına düşene kadar bu şekilde yinelemeye devam edin, ardından önemli olanları rapor edin.