Kement modelinden hariç tutulan veya dahil edilen değişkenler nasıl yorumlanır?

Diğer mesajlardan, bir kement modeline giren yordayıcı değişkenlere 'önem' veya 'önem' atfedemediğim için aldım çünkü bu değişkenlerin p-değerlerini veya standart sapmalarını hesaplamak hala devam eden bir çalışmadır.

Bu nedenle, kement modelinden HARİÇ EDİLEN değişkenlerin 'ilgisiz' veya 'önemsiz' olduğunu söyleyemeyeceğini söylemek doğru mu?

Öyleyse, hariç tutulan veya bir kement modeline dahil edilen değişkenler hakkında gerçekte ne iddia edebilirim? Özel durumumda, randonusu azaltmak ve hata eğrilerini ortalamak için 10 kat çapraz doğrulamayı 100 kez tekrarlayarak ayar parametresini lambda'yı seçtim.

GÜNCELLEME1: Aşağıdaki bir öneriyi takip ettim ve kementi bootstrap örnekleri kullanarak tekrar çalıştırdım. Ben 100 örnekleri ile bir gitmek vardı (bu miktar bilgisayar gücümün bir gecede yönetmek olabilir) ve bazı desenler ortaya çıktı. 41 değişkenimden 2'si modele% 95'ten fazla, 3 değişkeni% 90'dan fazla ve 5 değişkeni% 85'ten fazla girdi. Bu 5 değişken, orijinal örnekle çalıştırdığımda modele giren 9 değişken arasında yer alıyor ve o zamanlar en yüksek katsayı değerlerine sahip olanlardı. Kementi 1000 bootstrap örnekleriyle çalıştırırsam ve bu desenler korunursa, sonuçlarımı sunmanın en iyi yolu ne olurdu?

• 1000 bootstrap örneği yeterince ses veriyor mu? (Örneklem büyüklüğüm 116)

• Tüm değişkenleri ve modele ne sıklıkta girdiklerini listelemeli ve daha sık giren değişkenlerin anlamlı olma olasılığının daha yüksek olduğunu mı iddia etmeliyim?

• İddialarımla gidebildiğim kadar mı bu? Devam eden bir çalışma olduğu için (yukarıya bakın) Bir kesme değeri kullanamıyorum, değil mi?

GÜNCELLEME2: Aşağıdaki bir öneriden sonra aşağıdakileri hesapladım: Ortalama olarak, orijinal modeldeki değişkenlerin% 78'i 100 önyükleme örneği için oluşturulan modellere girdi. Öte yandan, diğer taraftan sadece% 41. Bu, büyük ölçüde, bootstrap örnekleri için oluşturulan modellerin, orijinal modele göre çok daha fazla değişken (ortalama 17) içermesi ile ilgilidir (9).

GÜNCELLEME3: Bootstrapping ve Monte Carlo simülasyonundan elde ettiğim sonuçları yorumlamama yardımcı olabilirseniz, lütfen bu diğer gönderiye bir göz atın .

Sonuç doğru. İki yönü düşünün:

1. Bir etkiyi tespit etmek için istatistiksel güç. Güç çok yüksek olmadıkça, büyük gerçek etkileri bile özleyebilirsiniz.
2. Güvenilirlik: doğru (doğru) özellikleri bulma olasılığının yüksek olması.

En az 4 önemli husus vardır:

1. Yöntem, aynı veri kümesini kullanarak tekrarlanabilir mi?
2. Yöntem, aynı veri kümesini kullanan başkaları tarafından tekrarlanabilir mi?
3. Sonuçlar diğer veri kümeleri kullanılarak tekrarlanabilir mi?
4. Sonuç güvenilir mi?

Tahminden daha fazlasını yapmak, ancak sonucu öngörmede hangi özelliklerin önemli olduğu hakkında sonuçlar çıkarmak istendiğinde, 3. ve 4. çok önemlidir.

3. adresine hitap ettiniz (ve bu amaçla 100 önyükleme yeterlidir), ancak bireysel özellik ekleme fraksiyonlarına ek olarak, bir önyükleme özellik seti ile orijinal seçilen özellik seti arasındaki ortalama mutlak 'mesafeyi' bilmemiz gerekir. Örneğin, önyükleme örneğinde bulunan tüm örnekten algılanan ortalama özellik sayısı nedir? Orijinal analizde bulunan bir önyükleme örneğinden seçilen ortalama özellik sayısı nedir? Bir önyüklemenin orijinal özellik kümesiyle tam olarak eşleştiği oran nedir? Bir önyüklemenin tam olarak orijinal ile aynı fikirde olmanın bir özelliği içinde olduğu oran nedir? İki özellik?

Genel bir sonuç çıkarmada herhangi bir kesmenin kullanılması gerektiğini söylemek uygun olmaz.

Bölüm 4 ile ilgili olarak, bunların hiçbiri sürecin güvenilirliğini, yani özellik setinin 'gerçek' özellik setine ne kadar yakın olduğunu ele almaz. Bunu ele almak için, orijinal örnek kement sonucunu 'gerçek' olarak aldığınız ve bazı varsayılan hata yapısını kullanarak yeni yanıt vektörlerini birkaç yüz kez simüle ettiğiniz bir Monte-Carlo yeniden simülasyon çalışması yapabilirsiniz. Her bir yeniden simülasyon için, kementi orijinal tüm tahmin matrisi ve yeni yanıt vektörü üzerinde çalıştırırsınız ve seçilen kement özellik kümesinin taklit ettiğiniz gerçeğe ne kadar yakın olduğunu belirlersiniz. Tüm aday öngörücüler kümesinde yeniden simülasyon koşulları ve başlangıçta takılan modelden (ve kement durumunda, seçilen öngörücüler kümesinden) katsayı tahminlerini simüle etmek için uygun bir 'gerçek' olarak kullanır.

Yeni gerçekleşmeleri simüle etmek $Y$ orijinali verildi $X$ matris ve şimdi gerçek regresyon katsayıları, kalıntı varyansını kullanabilir ve ortalama sıfır ile normallik varsayabilir veya daha da ampirik olmak için, tüm kalıntıları orijinal uyumdan saklayabilir ve bilinen doğrusal öngörücüye kalıntılar eklemek için onlardan bir bootstrap örneği alabilir $X\beta$her simülasyon için. Daha sonra orijinal modelleme işlemi sıfırdan (optimum ceza seçimi dahil) gerçekleştirilir ve yeni bir model geliştirilir. 100 ya da daha fazla yinelemenin her biri için yeni modeli simüle ettiğiniz gerçek modelle karşılaştırın.

Yine, bu sürecin güvenilirliğini iyi bir şekilde kontrol eder - 'gerçek' özellikleri bulma ve iyi tahminler alma yeteneği $\beta$.

Ne zaman $Y$ ikili, artıklarla uğraşmak yerine, yeniden simülasyon doğrusal öngörücünün hesaplanmasını içerir $X\beta$ orijinal uyumdan (örneğin, kement kullanarak), lojistik dönüşümü alarak ve her bir Monte Carlo simülasyonu için yeni bir üretim $Y$yeniden sığdırmak için vektör. R'de örneğin,

lp <- predict(...) # assuming suitable predict method available, or fitted()
probs <- plogis(lp)
y <- ifelse(runif(n) <= probs, 1, 0)