Bir regresyon modelinden ne zaman terim bırakılır?

Aşağıdakilerin anlamlı olup olmadığı konusunda herkes tavsiyede bulunabilir mi?

4 öngörücülü sıradan bir doğrusal model ile uğraşıyorum. En az önemli terimi bırakıp bırakmamam iki aklımdayım. It adlı -değeri 0.05 biraz fazla olduğunu. Bu satırlar boyunca bırakmayı tercih ettim: Bu terimin tahmininin (örneğin) bu değişken için örnek verilerinin çeyrekler arası aralığı ile çarpılması, bu terimin korunmasının genel model üzerindeki klinik etkisine bir anlam kazandırır. . Bu sayı çok düşük olduğundan, değişkenin klinik bir ortamda ölçerken alabileceği tipik gün içi değer aralığına eşit olduğundan, klinik olarak anlamlı olmadığını görüyorum ve bu nedenle daha cimri bir model vermek için bırakılabilir. düşürmekle birlikte ayarlanan biraz azaltır .R $p$$R^2$

Askerlik arzusunu hiç anlamadım. Parsimony aramak, istatistiksel çıkarımın tüm yönlerini yok eder (regresyon katsayılarının sapması, standart hatalar, güven aralıkları, P-değerleri). Değişkenleri korumanın iyi bir nedeni, bunun güven aralıklarının ve diğer miktarların doğruluğunu korumasıdır. Bunu şu şekilde düşünün: sıradan çoklu regresyonda artık iki varyans varyansının iki tarafsız tahmincisi geliştirilmiştir: (1) önceden belirlenmiş (büyük) modelden tahmin ve (2) genelleştirilmiş derecelerin yerine indirgenmiş bir modelden tahmin (azalan) regresyon serbestlik dereceleri için özgürlük (GDF). GDF, aday parametre sayısına nihai "önemli" parametre sayısından çok daha yakın olacaktır.

İşte bunu düşünmenin başka bir yolu. 4 tedaviyi karşılaştırmak için bir ANOVA yaptığınızı ve 4 df F testi yaptırdığınızı varsayalım. Daha sonra bir nedenden dolayı t-testleri kullanarak tedaviler arasındaki çift farklılıklara bakıyorsunuz ve tedavilerin bazılarını birleştirmeye veya kaldırmaya karar verdiniz (bu, 4 manken değişken üzerinde P, AIC, BIC, Cp kullanarak aşamalı seçim yapmakla aynıdır). 1, 2 veya 3 df ile sonuçlanan F-testinde şişirilmiş tip I hatası olacaktır. 4 df'lik orijinal F testi mükemmel bir çokluk ayarı içeriyordu.

Değişken seçimiyle ilgili bu cevapların tümü, değişkenlerin gözlem maliyetinin 0 olduğunu varsayar.

Ve bu doğru değil.

Belirli bir model için değişken seçimi konusu seçimi içerebilir veya içermeyebilir, ancak gelecekteki davranışlar için sonuçlar seçimi içerir.

NFL'de hangi üniversite yan hakeminin en iyisini yapacağını tahmin etme problemini düşünün. Sen bir izcisin. NFL'deki mevcut linemenlerin hangi niteliklerinin başarılarını en çok öngördüğünü düşünmelisiniz. 500 miktarı ölçersiniz ve gelecekte ihtiyaç duyulacak miktarları seçme görevine başlarsınız.

Ne yapmalısın? 500 kadarını da muhafaza etmeli misin? Bazıları (astrolojik işaret, doğduğu gün) ortadan kaldırılmalı mı?

Bu önemli bir soru ve akademik değil. Verilerin gözlemlenmesi için bir maliyet söz konusudur ve maliyet etkinliği çerçevesi, bazı değişkenlerin gelecekte gözlemlenmeleri GEREKMEMEKTEDİR, çünkü değerleri düşüktür.

Değişken tutmanın en az iki olası nedeni daha vardır: 1) DİĞER değişkenlerin parametrelerini etkiler. 2) Küçük olması kendi başına klinik olarak ilginçtir

Yaklaşık 1 görmek için, modeldeki değişkenli ve modelsiz bir modelden her bir kişi için öngörülen değerlere bakabilirsiniz. Bu iki değer kümesinin dağılım grafiğini oluşturmanızı öneririm. Büyük farklar yoksa, bu nedenle bu nedenle bir argüman

2 için, bu değişkenin neden olası değişkenler listesinde bulunduğunu düşünün. Teoriye mi dayanıyor? Diğer araştırmalar büyük bir etki büyüklüğü buldular mı?

Bu günlerde en yaygın tavsiye, iki modelin AIC'sini almak ve daha düşük AIC ile olanı almaktır. Yani, tam modelinizin -20 AIC'si varsa ve en zayıf öngörücüsü olmayan modelin AIC> -20'si varsa, tam modeli korursunuz. Bazıları <3 farkının daha basit olduğunu iddia edebilir. AIC'ler birbirlerinin 3'ü içindeyken "bağları" kırmak için BIC'yi kullanabilmenizi tavsiye ederim.

R kullanıyorsanız, AIC'yi alma komutu ... 'dir AIC.

Burada 90'lı yılların başından itibaren modelleme üzerine önemli olmayan tüm tahmincilerinizi bıraktığınızı gösteren bir ders kitabım var. Ancak bu, öngörücünün modele eklediği veya modelden çıkardığı karmaşıklıktan bağımsız olarak düşeceğiniz anlamına gelir. Aynı zamanda, sadece başka şeylerin açıklandığı şeye göre eğimin büyüklüğü yerine, açıklamanın değişkenlik ile ilgili olduğu ANOVA için de geçerlidir. AIC kullanımının daha modern tavsiyesi bu faktörleri göz önünde bulundurur. Anlamlı olmasa bile, anlamlı olmayan öngörücünün dahil edilmesi gereken her türlü neden vardır. Örneğin, diğer öngörücülerle korelasyon sorunları olabilir, bunun göreceli olarak basit bir öngörücü olabilir. En basit tavsiyeyi istiyorsanız AIC ile gidin ve bağları koparmak için BIC kullanın ve eşitlik pencereniz olarak 3 farkını kullanın.

Bu modeli ne için kullanıyorsunuz? Parsimony önemli bir hedef midir?

Bazı durumlarda daha cimri modeller tercih edilir, ancak cımbızın kendi içinde iyi bir şey olduğunu söyleyemem. Cimri modeller daha kolay anlaşılabilir ve iletilebilir ve cimri aşırı uyuma karşı korunmaya yardımcı olabilir, ancak çoğu zaman bu konular büyük endişe kaynağı değildir veya başka bir şekilde ele alınabilir.

Bir ters regresyon denkleminde fazladan bir terim dahil olmak üzere zıt yönden yaklaşmak, fazladan terimin kendisinin ilgi çekici olmadığı ve modelin çok fazla uyum sağlamadığı durumlarda bile bazı faydaları vardır ... kontrol edilmesi gereken önemli bir değişkendir, ancak diğerleri olabilir. Elbette, bir değişkeni dışlamak için çok önemli başka önemli nedenler vardır, örneğin, sonuçtan kaynaklanıyor olabilir.

İfadelerinizden, son tahmin ediciyi bırakma eğilimindeymişsiniz gibi gelir, çünkü tahmin değeri düşüktür; bu öngörücü üzerinde yapılan önemli bir değişiklik, yanıt değişkeni üzerinde önemli bir değişiklik anlamına gelmez. Bu durumda, o zaman belirleyiciyi dahil etmek / bırakmak için bu kriteri beğendim. Pratik gerçekliğe AIC veya BIC'den daha fazla dayanır ve bu araştırma için kitlenize daha açıklanabilir.