Doğrusal regresyonla ilgili en yaygın yanlış anlamalar nelerdir?

Merak ediyorum, diğer araştırmacılarla işbirliği konusunda geniş deneyime sahip olanlarınız için, karşılaştığınız lineer regresyon hakkındaki en yaygın yanlış anlamalar nelerdir?

Bence vaktinden önceki ortak yanlış anlamaları düşünmek için yararlı bir alıştırma olabilir.

1. İnsanların hatalarını tahmin etmek ve bazı yanlış anlamaların neden yanlış olduğunu açıkça ifade edebilmek

2. Bazı kavram yanılgılarımı kendim tespit edip edemediğimin farkına var!

Aklıma gelen birkaç temel şey:

Bağımsız / Bağımlı değişkenler normal olarak dağıtılmalıdır

Doğru yorumlama için değişkenler standartlaştırılmalıdır

Herhangi diğerleri?

Tüm cevaplar açıktır.

Yanlış öncül: A , DV ve IV arasında güçlü bir ilişki olmadığı anlamına gelir. $\hat{\beta} \approx 0$
Doğrusal olmayan fonksiyonel ilişkiler boldur ve bir çok ilişkinin ürettiği veriler, ilişkinin doğrusal olması gerektiğini varsayarsa, genellikle yaklaşık sıfır eğim oluşturur.

Buna bağlı olarak, başka bir sahte öncül araştırmacıda, çoğu zaman varsayımsal olarak, pek çok tanıtıcı regresyon ders kitabının , IV'ün polinom genişlemelerine DV'nin bir dizi regresyonunu inşa ederek "lineer (örneğin, , ardından , sonra tarafından$Y \sim \beta_{0} + \beta_{X}X + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \beta_{X^{3}}X^{3} + \varepsilon$, vb.). Düz çizgi DV ve IV arasındaki doğrusal olmayan bir fonksiyonel ilişkiyi iyi temsil edemediği gibi, bir parabol de tam anlamıyla sonsuz sayıda doğrusal olmayan ilişkiyi (örneğin sinüzoitler, sikloidler, adım fonksiyonları, doygunluk etkileri, s-eğrileri vb. Ad adinitum) temsil edemez. ). Bunun yerine , herhangi bir özel işlevsel form (örneğin, koşu çizgisi pürüzsüzlüğü, GAM'ler, vb.) Varsaymayan bir regresyon yaklaşımı olabilir .

Bir üçüncü sahte öncül tahmin sayısının artırılması olduğunu parametreler mutlaka istatistiksel güç kaybı ile sonuçlanır. Bu, gerçek ilişki doğrusal olmadığında ve tahmin etmek için birden fazla parametre gerektirdiğinde yanlış olabilir (örneğin, "bozuk bir çubuk" işlevi sadece düz bir çizginin kesişme ve eğim terimlerini gerektirmez, aynı zamanda eğimin değiştiği noktayı ve ne kadar şev değişiklikleri Ayrıca tahminler): Yanlış tanımlanmış bir modelin kalıntıları (örneğin düz bir çizgi), daha düşük bir reddetme olasılığı ve daha geniş güven aralığı ve tahmin aralıklarıyla sonuçlanan (önyargılı tahminlere ek olarak) sonuçlanan oldukça büyük büyüyebilir. .

Yalnızca verilerinin ölçüm hatasına maruz kaldığını varsaymak çok yaygındır (veya en azından, dikkate almamız gereken tek hata budur). Ancak bu, ölçümlerindeki hata olasılığını - ve sonuçlarını - dikkate almaz . Bu, değişkenlerinin deneysel kontrol altında olmadığı gözlemsel çalışmalarda özellikle akut olabilir .$y$$x$$x$

Regresyon dilüsyonu veya regresyon zayıflaması , Spearman (1904) tarafından tanınan bir olaydır, burada basit lineer regresyonda tahmin edilen regresyon eğimi, bağımsız değişkende ölçüm hatasının varlığı ile sıfıra saptırılır. Gerçek eğimin pozitif olduğunu varsayalım - noktalarınkoordinatlarını (belki de en kolay şekilde yatay "lekelemek" olarak görselleştirilen)çarpma etkisininregresyon çizgisini daha az dik hale getirmesidir. Sezgisel olarak, büyük birdeğerinesahip noktaların pozitif ölçüm hatasından dolayı olması muhtemeldir,değeri isegerçek (hatasız) değerini yansıtması daha muhtemeldirve bu nedenle gerçek satırdan daha düşüktür. gözlenen için$x$$x$$y$$x$$x$ .

Daha karmaşık modellerde, değişkenlerindeki ölçüm hatası parametre tahminleri üzerinde daha karmaşık etkiler yaratabilir. Değişken modellerinde bu hatayı dikkate alan hatalar var . Spearman, iki değişkenli korelasyon katsayılarını uzaklaştırmak için bir düzeltme faktörü önerdi ve daha gelişmiş durumlar için diğer düzeltme faktörleri geliştirildi. Bununla birlikte, bu tür düzeltmeler zor olabilir - özellikle çok değişkenli durumda ve kafa karıştırıcıların varlığında - ve düzeltmenin gerçek bir gelişme olup olmadığı tartışmalıdır, bkz. Smith ve Phillips (1996).$x$

Bu nedenle, bunun bir fiyatına iki yanlış anlama olduğunu varsayalım - bir yandan, yazma biçimimizin "tüm hatanın " olduğunu ve bunun görmezden geldiği anlamına geldiğini düşünmek bir hatadır. Bağımsız değişkenlerde fiziksel olarak gerçek ölçüm hataları olasılığı. Öte yandan, diz gerginliği tepkisi gibi tüm durumlarda ölçüm hatası için "düzeltme" nin kör olarak uygulanması tavsiye edilmeyebilir (her şeyden önce ölçüm hatasını azaltmak için adımlar atılması iyi bir fikir olsa da) .$y = X\beta + \varepsilon$$y$

(Muhtemelen giderek daha genel bir sıraya göre bazı yaygın değişken hata modellerine de bağlanmalıyım: ortogonal regresyon , Deming regresyon ve toplam en küçük kareler .)

Referanslar

• Smith, GD ve Phillips, AN (1996). " Epidemiyolojideki Enflasyon: 'İki şey arasındaki ilişkinin kanıtı ve ölçülmesi' yeniden düzenlendi . British Medical Journal , 312 (7047), 1659-1661.

• Spearman, C. (1904). "İki şey arasındaki ilişkinin kanıtı ve ölçümü." Amerikan Psikoloji Dergisi 15 : 72-101.

Bu bağlamda ve ayrıca diğer istatistiksel bağlamlarda uygulanan bazı standart yanlış anlamalar vardır: örneğin, -değerlerinin anlamı , yanlış nedensellik sonucu yanlış çıkaran, vb. $p$

Çoklu regresyona özgü olduğunu düşündüğüm bir kaç yanlış anlamalar:

1. Daha büyük tahmini katsayıya ve / veya düşük değerine sahip değişkenin 'daha önemli' olduğunu düşünün. $p$
2. Modele daha fazla değişken eklemenin seni gerçeğe yaklaştırdığını düşünmek. Örneğin, üzerindeki basit bir regresyonu eğimi, ve arasındaki gerçek doğrudan ilişki olmayabilir , fakat eğer değişkenleri , bu katsayı, gerçek ilişkinin daha iyi bir gösterimi olacaktır ve Ben eklerseniz , ondan daha da iyi olacaktır. $Y$$X$$X$$Y$$Z_1, \ldots, Z_5$$Z_6, \ldots, Z_{20}$

İlk listelediğiniz listenin muhtemelen en yaygın olduğunu - ve belki de en yaygın şekilde öğretildiğini - açıkça yanlış görülen şeylerin olduğunu söylerdim , ancak burada bazı durumlarda daha az net olan bazı başkaları var ( (gerçekten uygulanıp uygulanmadıklarını) ama daha fazla analizi ve belki de daha ciddiyetini etkileyebilir. Bunlar genellikle basitçe gerileme konusu ortaya çıktığında belirtilmez.

• İlgi grubundan rastgele örnekler olarak muamele etmek, muhtemelen temsile yakın olamayacak gözlem kümeleri (rastgele örneklenmiş olsalar bile). [Bazı çalışmalar bunun yerine uygunluk örneklerine daha yakın bir şey olarak görülebilir]

• Gözlemsel verilerle, sürece dahil olan değişkenlerin katsayılarının tahminlerini kesinlikle önyargılayacak (çoğu durumda, muhtemelen işaretlerini değiştirmeye bile), işlemlerin yollarını ele alma girişimleri göz önünde bulundurulmayacak şekilde önemli faktörlerin dışlanmasının sonuçlarını göz ardı etmek onlarla (sorunun cehaletsizliği veya sadece bir şeyin yapılabileceğinin farkında olmamak). [Bazı araştırma alanlarında, toplanan verilerin türünden veya bazı uygulama alanlarındaki kişilere bu konuda daha fazla bilgi verilme olasılığı olduğundan, bu sorun diğerlerinden daha fazladır.]

• Sahte regresyon (çoğunlukla zamanla toplanan verilerle). [İnsanlar bunun gerçekleştiğinin farkında olsalar bile, problemi tamamen önlemek için sadece durağanlığa göre farklılaşmanın yeterli olduğuna dair başka bir yanlış anlaşılma var.]

Elbette bahsedebileceği pek çok kişi var (neredeyse kesinlikle seri olarak korelasyon gösterecek veya hatta bütünleşecek bağımsız veriler gibi davranmak, örneğin yaklaşık olarak yaygın olabilir).

Zaman içinde toplanan verilerin gözlemsel çalışmalarının hepsinin bir anda çarpabileceğini fark edebilirsiniz ... ancak bu tür bir çalışma, regresyonun standart bir araç olduğu birçok araştırma alanında oldukça yaygındır. Tek bir gözden geçiren veya editör olmadan en az bir tanesini tanıyan ve en azından sonuçlarda bir dereceye kadar feragatname gerektiren yayınları nasıl yayınlayabilecekleri beni endişelendirmeye devam ediyor.

İstatistikler, oldukça dikkatli bir şekilde kontrol edilen deneylerle (belki de çok dikkatli bir şekilde kontrol edilmeyen analizlerle birleştirildiğinde) elde edilemeyen sonuçların problemleriyle dolu, bu sınırların dışına bir adım çıktıktan sonra, tekrarlanabilirlik durumu ne kadar kötü olmalı?

Muhtemelen bu kavram yanılgılarını söyleyemem, ama belki de ortak karışıklık / kilitlenme noktaları ve bazı durumlarda araştırmacıların farkında olamayacağı sorunlar olabilir.

• Çok doğrusal bağlantı (veri noktalarından daha fazla değişken olması durumunda)
• Değişen Varyans
• Bağımsız değişkenlerin değerlerinin gürültüye tabi olup olmadığı
• Ölçeklendirme (veya ölçeklenmemesi) katsayıların yorumlanmasını nasıl etkiler?
• Birden fazla konudaki veriler nasıl ele alınır?
• Seri korelasyonlarla nasıl başa çıkılır (örn. Zaman serileri)

Şeylerin yanılgısı tarafında:

• Doğrusallığın ne anlama geldiği (ör. , doğrusal olmayan wrt , ancak ağırlıkça doğrusaldır).$y = ax^2 + bx + c$$x$
• Bu 'regresyon' sıradan en küçük kareler veya doğrusal regresyon anlamına gelir
• Bu düşük / yüksek ağırlıkların mutlaka bağımlı değişkenle zayıf / güçlü ilişkiler olduğu anlamına gelir.
• Bağımlı ve bağımsız değişkenler arasındaki bu bağımlılık mutlaka ikili bağımlılığa indirgenebilir.
• Eğitim setindeki yüksek uyum iyiliği, iyi bir model anlamına gelir (ör. Aşırı uyumu ihmal etmek)

Deneyimlerime göre, öğrenciler sık ​​sık kare hataların (ya da OLS regresyonunun) doğal olarak uygun, doğru ve genel olarak iyi bir şey olduğu ya da alternatif olmadıkları fikrini benimsiyorlar. Sık sık OLS'un "daha aşırı / sapkın gözlemlere daha fazla ağırlık verdiğini" ve çoğu zaman bunun arzu edilen bir özellik olduğu ima edildiğini belirten ilanlarını sık sık gördüm. Bu kavram daha sonra, aykırı davranışın ve güçlü yaklaşımların tedavisi uygulandığında değiştirilebilir, ancak bu noktada hasar yapılır. Muhtemelen, kare hataların yaygın olarak kullanılması, tarihsel olarak gerçek dünyadaki hata maliyetlerinin bazı doğal yasalarına göre matematiksel kolaylıklarıyla daha fazla ilgilidir.

Genel olarak, hata işlevi seçiminin bir şekilde keyfi olduğu anlayışına daha fazla vurgu yapılabilir. İdeal olarak, bir algoritma içindeki herhangi bir ceza seçeneğine, potansiyel hatayla ilişkili (yani bir karar verme çerçevesi kullanılarak) ilgili gerçek dünya maliyet fonksiyonu yönlendirilmelidir. Neden önce bu prensibi oluşturup, ne kadar iyi yapabileceğimize bakmıyoruz?

Diğer bir yaygın yanlış anlama, hata teriminin (veya ekonometri parlansındaki bozulma) ve artıkların aynı şey olmasıdır.

Hata terimi, gerçek model veya veri üretme sürecinde rastgele bir değişkendir ve çoğu zaman belirli bir dağılımı takip ettiği varsayılır, bununla birlikte artıkların, gözlenen verilerin takılı modelden sapmaları olduğu varsayılır. Bu nedenle, artıkların hataların tahmini olduğu düşünülebilir.

Karşılaştığım en yaygın yanılgı, doğrusal regresyonun hataların normalliğini varsaydığıdır. Öyle değil. Normallik, doğrusal regresyonun bazı yönleriyle bağlantılı olarak faydalıdır; örneğin, katsayıların güven sınırları gibi küçük örnek özellikleri. Bu şeyler için bile normal olmayan dağılımlar için mevcut asimptotik değerler vardır.

İkinci en yaygın olanı, içselliğe ilişkin bir karışıklık kümesidir, örneğin geri bildirim döngülerine dikkat etmemek. Y'den X'e geri bildirim döngüsü varsa bu bir konudur.

Yaptığım bir hata OLS'de X ve Y'nin simetrisini varsaymak. Örneğin, OLS kullanarak yazılımım tarafından verilen ile bir ve ile doğrusal bir ilişki varsayarsam, Y'nin bir işlevi olarak X'in varsayılmasının OLS kullanarak katsayıları kullanacağına inanıyorum: bu yanlış.

Belki de bu, OLS ile toplam en küçük kare veya ilk ana bileşen arasındaki farkla da ilgilidir.

Sık sık gördüğüm, pratikte, belirli kullanım durumlarında doğrusal regresyonun uygulanabilirliği konusundaki bir yanlış anlamadır.

Örneğin, ilgilendiğimiz değişkenin bir şeyin sayımı olduğunu (örneğin: web sitesindeki ziyaretçiler) veya bir şeyin oranı (örnek: dönüşüm oranları) olduğunu söyleyelim. Bu gibi durumlarda değişken, Poisson (sayım), Beta (oranlar) gibi link fonksiyonları kullanılarak daha iyi modellenebilir. Dolayısıyla, daha uygun link fonksiyonuna sahip genelleştirilmiş bir model kullanılması daha uygundur. Ancak değişken değişken kategorik olmadığı için basit doğrusal regresyon ile başlayan insanları gördüm (link function = identity). Doğruluk etkilerini dikkate almasak bile, modelleme varsayımları burada bir problemdir.

Araştırmacılar tarafından sıklıkla gözardı edildiğini düşünüyorum:

• Değişken etkileşim: Araştırmacılar çoğu zaman bireysel tahmincilerin izole edilmiş betalarına bakarlar ve çoğu zaman etkileşim terimlerini bile belirtmezler. Fakat gerçek dünyada işler etkileşime girer. Tüm olası etkileşim terimlerinin uygun bir şekilde belirtilmesi olmadan, "öngörücülerinizin" bir sonuç oluşturmak için nasıl bir araya geldiklerini bilemezsiniz. Çalışkan olmak ve tüm etkileşimleri belirtmek istiyorsanız, tahmincilerin sayısı patlar. Hesaplamalarıma göre sadece 4 değişken ve bunların 100 denekle etkileşimlerini inceleyebilirsiniz. Bir değişken daha eklerseniz çok kolay bir şekilde kullanabilirsiniz.

Diğer bir yaygın yanılgı, tahminlerin (takılan değerler) dönüşümler için değişmez olduğu, örn.

Monotonik fonksiyonlar için istediğiniz şey buysa, mutlaka lineer değil, o zaman istediğiniz miktar kuantil bir regresyondur.$f(\cdot)$

Yukarıdaki eşitlik, doğrusal fonksiyonlar için doğrusal regresyonda bulunur, ancak doğrusal olmayan fonksiyonlar (örn. ) bunu tutmaz. Bununla birlikte, bu kuantil regresyonda herhangi bir monotonik işlev için geçerli olacaktır.$log(\cdot)$

Bu, verilerinizin bir log dönüşümü yaptığınızda, doğrusal bir regresyona uyduğunuzda, sonra takılan değeri üstelleştirdiğinizde ve insanlar bunu regresyon olarak okuduğunda her zaman ortaya çıkar. Bu demek değildir, bu medyandır (eğer şeyler gerçekten log-normal olarak dağıtılmışsa).