Neden çok değişkenli regresyona ihtiyacımız var (bir grup tek değişkenli regresyonun aksine)?

Bu harika kitabı okudum: Johnson ve Wichern tarafından uygulanan çok değişkenli istatistiksel analiz . Buradaki ironi, ayrı tek değişkenli (regresyon) modeller yerine çok değişkenli (regresyon) modelleri kullanma motivasyonunu hala anlayamıyorum. Ben stats.statexchange mesajların geçti 1 ve 2 açıklamak katına ve çok değişkenli regresyon ve çok değişkenli regresyon sonuçlarının (b) yorumlama arasındaki (a) fark, ama tüm bilgilerin I'den çok değişkenli istatistiksel modellerin kullanımını oynamak mümkün değilim onlar hakkında çevrimiçi olun.

Benim sorularım:

1. Neden çok değişkenli regresyona ihtiyacımız var? Çıkarımlar yapmak için sonuçları tek tek değil, aynı anda düşünmenin avantajı nedir.
2. Çok değişkenli modellerin ne zaman ve çok değişkenli modellerin ne zaman kullanılacağı (çok sayıda sonuç için).
3. UCLA sitesinde verilen üç sonucu bulunan bir örneği ele alalım : kontrol odağı, benlik kavramı ve motivasyon. 1. ve 2. ile ilgili olarak, tek değişkenli çoklu regresyona karşı üç tek değişkenli çoklu regresyon yaptığımızda analizi karşılaştırabilir miyiz? Birini diğerine doğrulamak nasıl?
4. Çok değişkenli istatistiksel modelleri kullanan birçok bilimsel makaleye rastlamadım. Çok değişkenli normallik varsayımı, model uydurma / yorumlamanın karmaşıklığı ya da başka bir özel sebep yüzünden mi?

Bağladığınız UCLA sitesinde tüm örneği okudunuz mu?

1 ile ilgili:
Çok değişkenli bir model kullanmak, sonuçlar arasındaki katsayıları (resmi olarak, çıkarımsal olarak) karşılaştırmanıza yardımcı olur.
Bu bağlantılı örnekte, writekatsayının locus_of_controlsonuç için elde edilen self_conceptsonuç için sonuçtan önemli ölçüde farklı olup olmadığını test etmek için çok değişkenli modeli kullanırlar . Psikolog değilim ama muhtemelen yazma becerinizin iki farklı psişik değişkeni aynı şekilde etkileyip etkilemediğini sormak ilginç. (Ya da null'a inanmıyorsak, etkilerin gerçekten de farklı olduğuna inandırıcı olarak göstermek için yeterli veri toplayıp toplamadığınızı sormak ilginçtir .)
Tek değişkenli ayrı analizler yaptıysanız, karşılaştırmayı zorlaştırır.writeiki model arasında katsayısı. Her iki tahmin de aynı veri kümesinden gelecektir, bu yüzden bunlar ilişkilendirilecektir. Çok değişkenli model bu korelasyonu açıklar.

Ayrıca, 4 ile ilgili olarak:
Orada olan gibi bazı çok yaygın kullanılan çok değişkenli modeller, Tekrarlanan Önlemler ANOVA . Uygun bir çalışma tasarımıyla, her ilaca birkaç ilacı verdiğinizi ve her hastanın sağlığını her ilacın ardından ölçtüğünüzü hayal edin. Ya da uzun zamandır elde edilen verilerde olduğu gibi zaman içindeki aynı sonuçları ölçtüğünüzü hayal edin. O zaman her birim için birden fazla sonuç elde edersiniz (sadece "aynı" ölçüm türünün tekrarı olsalar bile). Muhtemelen en azından bazı basit kontrastları yapmak isteyeceksiniz: A ila B ila ilaç B ile plasebo arasındaki ilacın A ve B ila ilaçlarının ortalama etkileri. Bunun için, Tekrarlanan Ölçümler ANOVA uygun bir çok değişkenli istatistiksel model / analizdir.

Düşünme olaylarının bağımsız olduğunu, basitçe çoğaltan olasılıklardan gelen tüm yanlış ve bazen tehlikeli sonuçları düşünün . Yedekli koruma önlemlerinin tümü nedeniyle, bağımsızlık varsayımını kullanarak nükleer santral uzmanlarımıza koyduk, büyük bir nükleer kaza ihtimalinin sonsuz olduğunu söyledi. Ancak Three Mile Island'da gördüğümüz gibi, insanlar özellikle panik içindeyken hızlı bir şekilde kendini birleştirebilen bir ilk hata nedeniyle ilişkili hatalar yaparlar. İnsan davranışını niteleyen gerçekçi bir çok değişkenli model oluşturmak zor olabilir, ancak korkunç bir modelin (bağımsız hataların) etkisinin fark edildiği açıktır.

Mümkün olan başka birçok örnek var. Challenger Shuttle felaketini başka bir olası örnek olarak ele alacağım . Asıl soru, düşük sıcaklık koşullarında fırlatılıp atılmayacağıydı. O-halkalarının düşük sıcaklıklarda arızalanabileceğini gösteren bazı veriler vardı. Ancak geçen misyonlardan, riskin ne kadar yüksek olduğunu açıkça ortaya koyan çok fazla veri yoktu. NASA her zaman astronotların güvenliği ile ilgilendi ve uzay gemisine birçok işten çıkarma yapıldı ve misyonları güvenli hale getirmek için araçlar fırlatıldı.

Yine de 1986'dan önce, bazı olası sistem arızaları vardı ve muhtemelen tüm olası arıza modlarını (zor bir görev) belirlemediğinden yakın arızalar vardı. Güvenilirlik modellemesi zor bir iştir. Ama bu başka bir hikaye. Mekik durumunda, o-ringlerin üreticisi (Morton Thiokol), düşük sıcaklıkta arıza olasılığını gösteren o-ringlerin bazı testlerini yapmıştır.

Ancak sınırlı sayıda görev hakkındaki veriler sıcaklık ve başarısızlık arasında bir ilişki olduğunu gösterdi; ancak fazlalık, bazı yöneticilerin birden fazla o-ring başarısızlığının gerçekleşmeyeceğini düşünmelerine neden olduğu için NASA'nın fırlatılması için baskı yaptı.

Elbette karara neden olan birçok başka faktör vardı. Başkan Reagan nasıl hatırla uzayda bir öğretmeni koymak çok endişeliydim göstermek amacıyla şimdi olduğunu yeterince güvenli sıradan insanlar vardı değil astronotlar could güvenle seyahat mekikte. Dolayısıyla politik baskı, kararı etkileyen başka bir büyük faktördü. Yeterince veri ve çok değişkenli bir model ile bu durumda risk daha iyi kanıtlanmış olabilirdi. NASA, dikkat tarafında hata yapmayı denemek için kullanılır. Bu durumda, Florida'da ısınana kadar fırlatmayı birkaç gün ertelemek, temkinli olurdu.

Afet sonrası komisyonları, mühendisler, bilim insanları ve istatistikçiler çok fazla analiz yaptılar ve yazılar yayınlandı. Görüşleri benimkinden farklı olabilir. Edward Tufte, bir dizi kitaptan birinde, grafiklerin iyi grafiklerin daha ikna edici olabileceğini gösterdi. Fakat sonuçta, bu analizlerin hepsinin değeri olmasına rağmen, politikanın hala kazanabileceğini düşünüyorum.

Bu hikayelerin ahlaki değil bu felaketler çok değişkenli yöntemlerin kullanımını motive fakat bu oldukça göz ardı bağımlılık bazen riskin brüt eksik değerlendirilmesine yol olduğunu fakir analizlere söyledi. Bu, tehlikeli olabilecek aşırı güvenceye neden olabilir. Jwimberley'nin bu konuya ilk yorumunda belirttiği gibi, "Ayrı tek değişkenli modeller korelasyonları görmezden geliyor."

Bu alıntıyı s. Darcy Olsen adlı kitabın 36. Deneme Hakkı [1]:

Ancak [ereplirsen] infüzyonlarının başlamasından yaklaşık on altı hafta sonra Jenn, oğlu Max'teki değişiklikleri fark etmeye başladı. “Çocuk tekerlekli sandalyesini kullanmak istemekten vazgeçti” diyor. Birkaç hafta sonra, yıllardır yapmadığı bir şeyle dışarıda oynamak istiyordu. Sonra Max iyi motor becerilerini yeniden kazanmaya başladı. Yine konteynerleri açabildi - [Duchenne kas distrofisi] ilerledikçe kaybettiği bir yetenek.

Max'in annesi Jenn, bireysel olarak 'gürültü' olarak göz ardı edilebilecek birçok sonucun kanıtlarını bir araya getirerek , ancak birlikte oldukça zorlayıcı olan, iyileştirmenin tutarlı bir resmini oluşturuyor . (Bu kanıt sentezi ilkesi, çocuk doktorlarının bir kural olarak, çocuklarının “çocuğumda bir sorun var” gibi içgüdüsel çıkarımlarını asla reddetmemelerinin bir parçasıdır. Ebeveynler, çocuklarının “çok değişkenli” den daha zengin olan çok değişkenli bir uzunlamasına analizine erişebilir. Kısa, tek bir klinik karşılaşma sırasında bir klinisyene erişilebilen kesitsel analiz.)

$p>0.05$

Bu tür kanıt sentezinin elde edilmesi, klinik denemelerde çok değişkenli sonuç analizi için temel gerekçedir. Tıbbi Araştırmalarda İstatistiksel Yöntemler , çok değişkenli sonuçların “Ortak Modellemesi” ne yönelik bir kaç yıl önce [2] özel bir konuya sahipti .

1. Olsen, Darcy. Deneme Hakkı: Federal Hükümet, Amerikalıların İhtiyaç Duydukları Hayat Kurtarıcı Bakımları Almalarını Nasıl Önler. İlk baskı. New York, NY: Harper, HarperCollins Publishers'ın bir baskısı, 2015.
2. Rizopoulos, Dimitris ve Emmanuel Lesaffre. “Ortak Modelleme Tekniklerinde Özel Sayıya Giriş.” Tıbbi Araştırmalarda İstatistiksel Yöntemler 23, no. 1 (1 Şubat 2014): 3-10. DOI: / 0962280212445800 10.1177.

Basit bir benzetme yapalım, çünkü gerçekten katkıda bulunmaya çalışabileceğim tek şey bu. Tek değişkenli ve çok değişkenli regresyon yerine, tek değişkenli (marjinal) ve çok değişkenli (eklem) dağılımları düşünelim. Diyelim ki aşağıdaki veriler var ve "aykırı" bulmak istiyorum. İlk yaklaşım olarak, iki marjinal ("tek değişkenli") dağılımını kullanabilir ve her birinin% 2.5 ve% 2.5'inin üstündeki çizgileri bağımsız olarak çizebilirim. Sonuçta ortaya çıkan çizgilerin dışına düşen puanlar aykırı değer olarak kabul edilir.

Fakat iki şey: 1) Bir eksen için çizgilerin dışında, diğer eksen için çizgilerin içinde kalan noktalar hakkında ne düşünüyoruz? Onlar "kısmi aykırı" mı yoksa bir şey mi? Ve 2) ortaya çıkan kutu gerçekten istediğimizi yapıyor gibi görünmüyor. Bunun nedeni, elbette, iki değişkenle ilişkilidir ve sezgisel olarak istediğimiz şey, kombinasyondaki değişkenleri göz önüne alarak olağandışı olanları bulmaktır.

Bu durumda, ortak dağılıma bakarız ve merkezdeki Mahalanobis mesafelerinin% 5'in üstünde olup olmadığını belirleyerek noktaları renk kodladım. Siyah noktalar aykırı değerlere benziyor, bazı ayraçlar her iki yeşil satır kümesinde ve bazı aykırı olmayanlar (kırmızı) her iki yeşil satır kümesinin dışında kalsa da .

Her iki durumda da,% 5'e karşılık% 5'i sınırlıyoruz, ancak ikinci teknik ortak dağılımı temsil ediyor. Çok değişkenli regresyonun böyle olduğuna inanıyorum, burada "dağıtım" yerine "regresyon" yazıyorsunuz. Tamamen anlamıyorum ve kendimden çok değişkenli regresyon yapmaya ihtiyacım olmadı (anladığım kadarıyla) olmadı, ama böyle düşünüyorum.

[Analojinin sorunları var: Mahalanobis mesafesi iki değişkeni tek bir sayıya düşürüyor - tek değişkenli bir regresyonun bir dizi bağımsız değişken alması ve doğru tekniklerle bağımsız değişkenler arasındaki kovaryansları hesaba katması gibi bir şey Tek bir bağımlı değişkende - çok değişkenli regresyon çoklu bağımlı değişkenlerle sonuçlanır. Bu yüzden geriye doğru sıralama, ama biraz sezgiyi vermek için yeterince ileriye doğru umarım.]

1) Doğa her zaman basit değildir. Aslında, incelediğimiz çoğu fenomen (sonuç), çoklu değişkenlere ve karmaşık bir şekilde bağlıdır. Bir seferde bir değişkeni temel alan çıkarımsal bir modelin büyük olasılıkla yüksek önyargılı olması gerekir.

2) Tek değişkenli modeller tanım olarak oluşturabileceğiniz en basit modeldir. İlk kez bir sorunu araştırıyorsanız ve onun en önemli özelliğini tek tek anlamak istiyorsanız sorun değil. Fakat daha derinlemesine bir anlayış istiyorsanız, kaldıracağınız bir anlayış, çünkü yaptığınız işe güvendiğinizden, çok değişkenli analizleri kullanırsınız. Ve çok değişkenli olanlar arasında, model doğruluğunu önemsiyorsanız, korelasyon modellerini anlayanları tercih etmelisiniz.

3) Üzgünüm, bunu okumak için zaman yok.

4) Çok değişkenli teknikler kullanan makaleler bugünlerde çok yaygındır - bazı alanlarda son derece yaygındır. Büyük Hadron Çarpıştırıcısı verilerini kullanan CERN deneylerinde (parçacık fiziğinden bir örnek almak için), her yıl yayınlanan yüzlerce kağıdın yarısından fazlası çok değişkenli teknikleri bir şekilde kullanıyor

https://inspirehep.net/search?ln=en&ln=en&p=find+cn+cms+&of=hb&action_search=Search&sf=earliestdate&so=d&rm=&rg=25&sc=0

Cevabım, regresyon ile ne yapmak istediğinize bağlı. Farklı katsayıların etkisini karşılaştırmaya çalışıyorsanız, regresyon sizin için doğru araç olmayabilir. Kanıtladığınız farklı katsayıları kullanarak tahminlerde bulunmaya çalışıyorsanız, bağımsız olursanız, belki de çoklu regresyon kullanmanız gereken şeydir.

Faktörler ilişkilendirildi mi? Eğer öyleyse, çok değişkenli bir regresyon size kötü bir model verebilir ve çapraz korelasyonları düzeltmek için VIF'ler veya ridge regresyonu gibi bir yöntem kullanmanız gerekir. Çapraz korelasyon faktörleri ortadan kalkana kadar katsayıları karşılaştırmamalısınız. Bunu yapmak felakete yol açacaktır. Çapraz korelasyonlu değilse, çok değişkenli katsayılar tek değişkenli katsayılar ile karşılaştırılabilir olmalıdır ve bu şaşırtıcı olmamalıdır.

Sonuç, kullandığınız yazılım paketine de bağlı olabilir. Ben şaka yapmıyorum. Farklı yazılım paketleri çok değişkenli regresyon hesaplamak için farklı yöntemlere sahiptir. (Bana inanmıyor musunuz? Standardı R regresyon paketi hesaplar R nasıl göz atın ² ile ve kesen olarak kökeni zorlamadan. Sizin çene yere vurmak gerekir.) Sen yazılım paketi regresyon performansını anlamak gerekir. Çapraz korelasyonları nasıl telafi ediyor? Sıralı mı yoksa matris çözümü mi yapıyor? Geçmişte bununla ilgili hayal kırıklıkları yaşadım. Çoklu regresyonunuzu farklı yazılım paketlerinde gerçekleştirmenizi ve ne elde edebileceğinizi görmenizi öneririm.

Burada bir başka güzel örnek:

Bu denklemde, regresyon katsayılarının (veya B katsayılarının), her bağımsız değişkenin, bağımlı değişkenin tahminine olan bağımsız katkılarını temsil ettiğini unutmayın. Bu gerçeği ifade etmenin bir başka yolu, örneğin, X1 değişkeninin, diğer tüm bağımsız değişkenleri kontrol ettikten sonra, Y değişkeni ile ilişkili olduğunu söylemektir. Bu korelasyon türü kısmi bir korelasyon olarak da adlandırılır (bu terim ilk olarak Yule, 1907 tarafından kullanılmıştır). Belki de aşağıdaki örnek bu konuyu netleştirecektir. Muhtemelen, popülasyondaki saç uzunluğu ile boyu arasında anlamlı bir negatif ilişki olduğunu görüyorsunuz (yani, kısa insanların saçları daha uzun olur). İlk başta bu garip görünebilir; Bununla birlikte, Cinsiyet değişkenini çoklu regresyon denklemine eklersek, bu korelasyon muhtemelen ortadan kalkacaktır. Bunun nedeni, kadınların ortalama olarak erkeklerden daha uzun saçlı olmalarıdır; Aynı zamanda ortalama olarak erkeklerden daha kısadır. Bu nedenle, cinsiyete girerek bu cinsiyet farkını denkleme girdikten sonra, saç uzunluğu ile boy arasındaki ilişki ortadan kalkar, çünkü saç uzunluğu, değişken Cinsiyet değişkenindeki tahminde paylaştığı değerin üstünde ve ötesinde boy tahminine benzersiz bir katkı yapmaz. . Başka bir deyişle, Cinsiyet değişkenini kontrol ettikten sonra, saç uzunluğu ile boy arasındaki kısmi korelasyon sıfırdır. Saç uzunluğu ve boy arasındaki ilişki ortadan kalkar, çünkü saç uzunluğu boyun öngörülmesine, Cinsiyet değişkeniyle olan tahminde paylaştığı şeyin ötesine hiçbir katkı yapmaz. Başka bir deyişle, Cinsiyet değişkenini kontrol ettikten sonra, saç uzunluğu ile boy arasındaki kısmi korelasyon sıfırdır. Saç uzunluğu ve boy arasındaki ilişki ortadan kalkar, çünkü saç uzunluğu boyun öngörülmesine, Cinsiyet değişkeniyle olan tahminde paylaştığı şeyin ötesine hiçbir katkı yapmaz. Başka bir deyişle, Cinsiyet değişkenini kontrol ettikten sonra, saç uzunluğu ile boy arasındaki kısmi korelasyon sıfırdır. http://www.statsoft.com/Textbook/Multiple-Regression

Çoklu regresyon kullanan pek çok tuzak var, onu kullanmaktan kaçınmaya çalışıyorum. Kullanacaksanız, sonuçlara çok dikkat edin ve bunları iki kez kontrol edin. Korelasyonu doğrulamak için her zaman verileri görsel olarak çizmelisiniz. (Yazılım programınızın korelasyon olmadığını söylediği için, bunun olmadığı anlamına gelmez. İlginç korelasyonlar ) Sonuçlarınızı her zaman sağduyuya göre kontrol edin. Bir faktör tek değişkenli regresyonda güçlü bir korelasyon gösteriyorsa, ancak çok değişkenli değil ise, sonuçları paylaşmadan önce nedenini anlamanız gerekir (yukarıdaki cinsiyet faktörü iyi bir örnektir).