Çoklu karşılaştırmalar için p değerlerini çoklu regresyonda ayarlamak iyi bir fikir midir?

Bir hizmet için talebin ilgili belirleyicilerini bulmaya çalışan bir sosyal bilim araştırmacısı / ekonometrikçi olduğunuzu varsayalım. Talebi tanımlayan 2 sonuca / bağımlı değişkene sahipsiniz (evet / hayır servisini ve durum sayısını kullanarak). Talebi teorik olarak açıklayabilecek 10 öngörücü / bağımsız değişkeniniz var (örneğin, yaş, cinsiyet, gelir, fiyat, ırk vb.). İki ayrı çoklu regresyon çalıştırmak, 20 katsayı tahmini ve p değerleri verecektir. Regresyonlarınızda yeterince bağımsız değişkenlerle, er ya da geç, bağımlı ve bağımsız değişkenler arasında istatistiksel olarak anlamlı bir korelasyon ile en az bir değişken bulacaksınız.

Sorum şu: regresyondaki tüm bağımsız değişkenleri dahil etmek istersem, çoklu testler için p-değerlerini düzeltmek iyi bir fikir midir? Önceki çalışmalara yapılan referanslar çok takdir edilmektedir.

Sorunuz daha genel olarak iyi öngörücüleri belirleme sorununu ele alıyor gibi görünüyor. Bu durumda, bir çeşit cezalandırılmış regresyon (değişken veya özellik seçimiyle ilgili yöntemler de geçerlidir), örneğin L1, L2 (veya bunların bir kombinasyonu, esnek ağ denilen ) cezalarını kullanmayı düşünmelisiniz (ilgili sorulara bakınız. Bu site veya diğerlerinin yanı sıra R ceza ve elastik ağ paketi).

Şimdi, aşırı iyimserliğe (örneğin Bonferroni veya daha iyi, aşağı inme yöntemleriyle) karşı koruma sağlamak için regresyon katsayılarınızın (veya aynı zamanda kısmi korelasyon katsayılarınızın) p-değerlerini düzeltmek hakkında bir model ve açıklamalı varyansın önemli bir kısmını oluşturan bu tahmincileri araştırın; Bu makale iyi bir başlangıç ​​olabilir: Regresyon Katsayıları Testlerinde Bonferroni Ayarlamaları . Bu tür bir düzeltmenin sizi bildirilen p-değerlerini etkileyen çok-doğrusallık sorununa karşı korumayacağının farkında olun.

Verilerinizi dikkate alarak, bir tür yinelemeli model seçim tekniklerini kullanmanızı tavsiye ederim. Örneğin, R'de stepAICfonksiyon, tam AIC ile kademeli model seçimi yapılmasına izin verir. Tahmincilerinizin göreceli önemini, Boostrap kullanarak yaptıkları katkılara dayanarak da tahmin edebilirsiniz ( relaimpo paketine bakın). Raporlama etki büyüklüğü ölçüsü veya açıklanan varyansın% 'sinin, özellikle doğrulayıcı bir modelde, p-değerinden daha bilgilendirici olduğunu düşünüyorum.$R^2$

Kademeli yaklaşımların kendi dezavantajları olduğu (örneğin, Wald testlerinin, basamaklı prosedürle indüklenen koşullu hipoteze adapte edilmediği) ya da R postalamadaki Frank Harrell tarafından belirtildiği gibi , "AIC'ye dayalı olarak kademeli değişken seçiminin, P-değerlerine dayalı kademeli değişken seçimi problemleri. AIC, P-Değerinin sadece bir ifadesidir "(ancak öngörücüler seti önceden tanımlanmışsa, AIC yararlı kalır); İlgili bir soru - Bir doğrusal regresyon modelinde bir değişken önemli midir? - değişken seçimi için AIC kullanımı hakkında ilginç yorumlar ( @Rob , diğerleri). Sonunda birkaç referans ekledim (lütfen @Stephan tarafından sağlanan yazılar dahil)); P.Mean'da başka birçok referans var .

Frank Harrell, Regresyon Modelleme Stratejisi üzerine bir çok tartışma içeren ve bu soruna ilişkin tavsiyeler içeren bir kitap yazdı (§4.3, ss. 56-60). Ayrıca genelleştirilmiş doğrusal modellerle başa çıkmak için etkili R rutinleri geliştirdi ( Tasarım veya rms paketlerine bakın). Bu yüzden kesinlikle bir göz atmanız gerektiğine inanıyorum ( broşürleri ana sayfasında mevcuttur).

Referanslar

1. Whittingham, MJ, Stephens, P, Bradbury, RB ve Freckleton, RP (2006). Neden hala ekoloji ve davranışta adım adım modelleme kullanıyoruz? Hayvan Ekolojisi Dergisi , 75 , 1182-1189.
2. Austin, PC (2008). Bir simülasyon çalışması: Bootstrap model seçim geriye değişken eleme kıyasla otantik ve gürültü değişkenleri seçmek için benzer performans vardı . Klinik Epidemiyoloji Dergisi , 61 (10) , 1009-1017.
3. Austin, PC ve Tu, JV (2004). Lojistik regresyon için otomatik değişken seçim yöntemleri, akut miyokard infarktüsü mortalitesini öngörmede kararsız modeller üretti . Klinik Epidemiyoloji Dergisi , 57 , 1138–1146.
4. Grönland, S (1994). Çoklu pozlamaların epidemiyolojik analizleri için hiyerarşik regresyon . Çevresel Sağlık Perspektifi , 102 (Ek 8) , 33–39.
5. Grönland, S (2008). Genel epidemiyolojide çoklu karşılaştırmalar ve birlik seçimi . Uluslararası Epidemiyoloji Dergisi , 37 (3) , 430-434.
6. Beyene, J, Atenafu, EG, Hamid, JS, To, T ve Sung L (2009). Prediktif modellerin geliştirilmesinde ve onaylanmasında değişkenlerin göreceli öneminin belirlenmesi . BMC Tıbbi Araştırma Metodolojisi , 9 , 64.
7. Bursac, Z, Gauss, CH, Williams, DK ve Hosmer, DW (2008). Lojistik regresyonda değişkenlerin amaçlı seçimi . Biyoloji ve Tıp için Kaynak Kodu , 3 , 17.
8. Brombin, C, Finos, L ve Salmaso, L (2007). Genelleştirilmiş doğrusal modellerde kademeli p-değerlerinin ayarlanması . Uluslararası Çoklu Karşılaştırma Prosedürleri Konferansı . - step.adj()R someMTP paketinde bakın.
9. Wiegand, RE (2010). Değişken seçimi için çoklu kademeli algoritmalar kullanma performansı . Tıp İstatistikleri , 29 (15), 1647-1659.
10. Moons KG, Donders AR, Steyerberg EW ve Harrell FE (2004). İkili sonuçları tahmin etmek için Cezalandırılmış Maksimum Olabilirlik Tahmini. Klinik Epidemiyoloji Dergisi , 57 (12) , 1262–1270.
11. Tibshirani, R (1996). Regresyonda büzülme ve kement ile seçim . Kraliyet İstatistik Kurumu Dergisi B , 58 (1) , 267-288.
12. Efron, B, Hastie, T, Johnstone, I ve Tibshirani, R (2004). En Küçük Açı Regresyonu . İstatistiklerin Annals , 32 (2) , 407-499.
13. Flom, PL ve Cassell, DL (2007). Adım Adım Durdurma: Neden adım adım ve benzer seçim yöntemleri kötüdür ve ne kullanmanız gerekir . NESUG 2007 Bildirileri .
14. Shtatland, ES, Cain, E. ve Barton, MB (2001). Kademeli lojistik regresyonun tehlikeleri ve bilgi kriterleri ve Çıktı Teslim Sistemi kullanılarak bunlardan nasıl kurtulacağınız . SUGI 26 Bildiriler (s. 222-226 ).

Büyük ölçüde , tutulan verilere dayanarak elde ettiğiniz modeli test etmek için rastgele olarak yeterli veri tutmamak kaydıyla istediğiniz şeyi yapabilirsiniz . % 50'lik bir bölünme iyi bir fikir olabilir. Evet, ilişkileri saptama kabiliyetini kaybedersin, fakat kazandıkların muazzam; yani, yayınlanmadan önce çalışmanızı çoğaltma becerisi . Elde ettiğiniz istatistiksel teknikler ne kadar karmaşık olursa olsun, onay verisine uygulandığında kaç tane “önemli” tahmincinin tamamen yararsız olduğu konusunda şok olacaksınız.

Ayrıca, tahmin için "ilgili" ifadesinin düşük bir p değerinden daha fazlasını ifade ettiğini de unutmayın. Ne de olsa, bu veri setinde bulunan bir ilişkinin şanstan kaynaklanmadığı anlamına gelir. Tahmin için, tahmin üzerinde önemli bir etkiye sahip olan değişkenleri bulmak aslında daha önemlidir (modele uymadan); yani "gerçek" olması muhtemel değişkenleri bulmak için ve, değerler (sizin numunede ortaya çıkabilecek sadece değerler!) makul bir aralığı boyunca değişiyordu zaman, predictand ölçüde değişmesine neden olur. Bir modeli onaylamak için bekletme verileriniz olduğunda, geçici olarak düşük p-değerleri içermeyebilecek marjinal "önemli" değişkenleri saklamak daha rahat olabilir.

Bu nedenlerden dolayı (ve chl'in iyi cevabına dayanarak), adım adım modeller, AIC karşılaştırmaları ve Bonferroni düzeltmelerini oldukça faydalı bulmama rağmen (özellikle oyunda yüzlerce veya binlerce muhtemel öngörücü ile) bunlar değişkenlerin tek belirleyicileri olmamalıdır Modeline gir. Teori tarafından sağlanan rehberlik görüşünü de kaybetmeyin: ya da bir modelde olması gereken güçlü teorik gerekçelere sahip olan değişkenler, şartlı olmasalar bile, koşullu denklemler yaratmadıkları sürece ( örneğin, eşzamanlılık) tutulmalıdırlar. .

Not : Bir model üzerine oturduktan ve tutma verisi ile kullanışlılığını onayladıktan sonra, tutulan verinin son tahmin için tutma verisi ile yeniden birleştirilmesi uygundur. Böylece, model katsayılarını tahmin edebileceğiniz hassasiyet açısından hiçbir şey kaybolmaz.

Bence bu çok iyi bir soru; epidemiyolojiden ekonometriye kadar çeşitli alanları saran, tartışmalı çoklu test "sorununun" kalbine ulaştı. Sonuçta , bulduğumuz önemin sahte olup olmadığını nasıl bilebiliriz? Çok değişkenli modelimiz ne kadar doğrudur?

Gürültü değişkenleri yayınlama olasılığını dengelemek için teknik yaklaşımlar açısından, örneğinizin bir kısmını eğitim verisi olarak ve geri kalanını test verisi olarak kullanmanın iyi bir fikir olduğunu yürekten kabul ediyorum. Bu teknik literatürde tartışılan bir yaklaşımdır, bu nedenle zaman ayırırsanız, ne zaman ve nasıl kullanılacağına ilişkin bazı iyi yönergeler öğrenebilirsiniz.

Ancak birden fazla test felsefesinde daha doğrudan vurmak için, aşağıda birden çok test için ayarlamanın genellikle zararlı (maliyet gücü) olduğu, hatta gereksiz olduğu ve hatta mantıksal bir yanlışlık olabileceği pozisyonunu destekleyen aşağıdaki makaleleri okumanızı öneririm. . Ben, biri için potansiyel bir tahminciyi araştırma yeteneğimizin, diğerinin soruşturmasıyla kaçınılmaz şekilde azaldığı iddiasını otomatik olarak kabul etmiyorum. Aile bilge Tip 1 hata oranı kadar uzun bizim örnek büyüklüğü, her biri için Tip 1 hata olasılığı sınırlarını aşan gitmez olarak biz belli bir modelde birden açıklayıcı değişken olarak artırmak, ancak olabilir bireyöngörücü sabittir; ve aile kaynaklı hata kontrolü, hangi özel değişkenin gürültü olduğunu ve hangisinin olmadığını gösterir. Tabii ki, aynı zamanda kesin karşı argümanlar vardır.

Bu nedenle, potansiyel değişkenler listenizi makul olanlarla sınırlandırdığınız sürece (yani, sonuca giden yolu bilecektir) o zaman sahte olma riski zaten oldukça iyi ele alınmaktadır.

Bununla birlikte, bir yordayıcı modelin, yordayıcılarının nedensel bir model olarak “hakikat değeri” ile ilgili olmadığını ; Modelde çok fazla kafa karıştırıcı olabilir, ancak büyük bir varyans derecesini açıkladığımız sürece çok fazla endişelenmiyoruz. Bu, işi en azından bir anlamda kolaylaştırır.

Alkış,

Brenden, Biyoistatistik Danışmanı

Not: İki ayrı regresyon yerine, tarif ettiğiniz veriler için sıfır şişirilmiş Poisson regresyonu yapmak isteyebilirsiniz.

1. Perneger, TV Bonferroni ayarlarında yanlış olan ne ? BMJ 1998; 316: 1236
2. Cook, RJ & Farewell, VT Klinik çalışmaların tasarımında ve analizinde çokluk düşünceleri . Kraliyet İstatistik Kurumu Dergisi , Seri A 1996; Vol. 159, No. 1: 93-110
3. Rothman, KJ Çoklu karşılaştırmalar için ayarlama yapılması gerekmez . Epidemiyoloji 1990; Vol. 1, No. 1: 43-46
4. Marshall, JR Veri tarama ve dikkat çekici . Epidemiyoloji 1990; Vol. 1, No. 1: 5-7
5. Grönland, S. ve Robins, JM Ampirical-Bayes çoklu karşılaştırmalar için ayarlamalar bazen yararlı olabilir . Epidemiyoloji 1991; Vol. 2, No. 4: 244-251

Burada iyi cevaplar var. Başka yerde kapalı göremediğim birkaç küçük nokta eklememe izin verin.

İlk olarak, cevap değişkenlerinizin niteliği nedir? Daha spesifik olarak, birbirleriyle ilişkili oldukları anlaşılıyor mu? Bağımsız oldukları (teorik olarak) / iki modelden kalanların bağımsız olduğu durumlarda (ampirik olarak) yalnızca iki ayrı çoklu regresyon yapmanız gerekir. Aksi takdirde, çok değişkenli bir regresyon düşünmelisiniz. ('Çok değişkenli'> 1 yanıt değişkeni; 'çoklu'> 1 öngörücü değişkeni anlamına gelir.)

$F$

Görünüşe göre alakasız bir regresyon yapabilir ve bir F testi kullanabilirsiniz. Verilerinizi şunun gibi bir forma koyun:

Out1 1 P11 P12 0  0   0
Out2 0 0   0   1  P21 P22

Böylece, ilk sonucunuz için belirleyiciler, bu sonuç, y değişkeni ve 0 ise tersi olduğunda, değerleri olur. Yani y, her iki sonucun da bir listesi. P11 ve P12, ilk sonuç için iki tahmin edicidir ve P21 ve P22, ikinci sonuç için iki tahmin edicidir. Eğer cinsiyet, her iki sonuç için de bir öngörücü ise, sonuç 1'i öngörmede kullanımı, sonuç 2'yi öngörürken ayrı bir değişken / sütunda olmalıdır. Bu, regresyonunuzun her sonuç için cinsiyet için farklı eğim / etkilere sahip olmasını sağlar.

Bu çerçevede, standart F test prosedürlerini kullanabilirsiniz.