Doğrusal bir regresyon modelinde kesişmeyi kaldırmak ne zaman uygundur?

Doğrusal regresyon modelleri kullanıyorum ve engelleme terimini kaldırmak için koşulların ne olduğunu merak ediyorum.

Birinde kesişen, diğeri olmayan iki farklı regresyondan elde edilen sonuçları karşılaştırırken, kesişme olmadan fonksiyonun 2'sinin çok daha yüksek olduğunu fark ettim . Kesişim teriminin kaldırılmasının geçerli olduğundan emin olmak için izlemem gereken belirli koşullar veya varsayımlar var mı?$R^2$

En kısa cevap: veri üretme sürecine (doğrusal regresyon modeli) doğrusal yaklaşımınızın, bazı teorik ya da başka herhangi bir nedenden dolayı ya da kökene gitmeye zorlanmadığından emin değilseniz asla . Aksi halde, istatistiksel olarak önemsiz olsa bile diğer regresyon parametreleri önyargılı olacaktır (garip ama öyle, örneğin Brooks Giriş Ekonometriğine danışın ). Son olarak, öğrencilerime sık sık anlattığım gibi, kesişme terimini bırakarak artık terimin sıfır-ortalama olduğundan emin olursunuz.

İki model durumunuz için daha fazla içeriğe ihtiyacımız var. Doğrusal modelin burada uygun olmadığı olabilir. Örneğin, eğer model çoklayıcıysa önce dönüşümü kaydetmeniz gerekir. Üstel büyüme süreçlerine sahip olmak, arada sırada kesişmeyen model için "çok" daha yüksek olabilir.$R^2$

Verileri tarayın, modeli RESET testiyle veya başka bir doğrusal özellik testiyle test edin, bu benim tahminimin doğru olup olmadığını görmenize yardımcı olabilir. Üstelik, en yüksek modellerini oluşturmak, en çok endişe duyduğum son istatistiki özelliklerden biri, ancak ekonometriye pek aşina olmayan insanlara sunmak güzeldir (yakınlarda karar verebilecek çok kirli püf noktası vardır. 1 :)).$R^2$

Engellemeyi kaldırmak farklı bir model, ancak meşru olduğu birçok örnek var. Şimdiye kadar verilen cevaplar, gerçek müdahalenin 0 olduğu bir örneği daha önce tartışmışlardır. Atipik bir model parametrelendirmesi ile ilgilenebileceğimiz birkaç örneğe odaklanacağım.

Örnek 1: ANOVA tarzı Model. Kategorik değişkenler için genellikle grup üyeliğini kodlayan ikili vektörler oluştururuz. Standart regresyon modeli kesişme + k - 1 kukla vektörler olarak parametrelendirilmiştir. Kesişme, "referans" grubu için beklenen değeri veya ihmal edilen vektörü kodlar ve kalan vektörler, her grup ve referans arasındaki farkı test eder. Ancak bazı durumlarda, her grubun beklenen değerine sahip olmak faydalı olabilir.

dat <- mtcars
dat$vs <- factor(dat$vs)

## intercept model: vs coefficient becomes difference
lm(mpg ~ vs + hp, data = dat)

Coefficients:
(Intercept)          vs1           hp  
   26.96300      2.57622     -0.05453  

## no intercept: two vs coefficients, conditional expectations for both groups
lm(mpg ~ 0 + vs + hp, data = dat)

Coefficients:
     vs0       vs1        hp  
26.96300  29.53922  -0.05453  

Örnek 2: Standart veri durumu. Bazı durumlarda, standart verilerle çalışıyor olabilir. Bu durumda, kesişme, tasarım gereği 0'dır. Bunun klasik bir örneği, verilerin kovaryans matrislerinde işletilen eski stil yapısal denklem modelleri veya faktör olduğunu düşünüyorum. Aşağıdaki durumda, yine de, sadece ek bir serbestlik derecesini düşürmek için (ortalama tahmin edildiği için yine de kaybetmiş olmanız gerekirdi), ancak bu yolla bir avuç var. inşaat, araçlar 0 olabilir (örneğin, katılımcıların derecelendirme atadığı, ancak eşit pozitifleri ve negatifleri vermekle sınırlı kaldıkları bazı deneyler).

dat <- as.data.frame(scale(mtcars))

## intercept is 0 by design
lm(mpg ~ hp + wt, data = dat)

Coefficients:
(Intercept)           hp           wt  
  3.813e-17   -3.615e-01   -6.296e-01  

## leaving the intercept out    
lm(mpg ~ 0 + hp + wt, data = dat)

Coefficients:
     hp       wt  
-0.3615  -0.6296  

Örnek 3: Çok Değişkenli Modeller ve Gizli Kavşaklar. Bu örnek bir çok yönden ilkine benzer. Bu durumda, veriler üst üste konmuştur, böylece iki farklı değişken şimdi bir uzun vektör içindedir. İkinci bir değişken yanıt vektörü, olup olmadığı hakkında bilgi kodlayan y, aittir mpgveya disp. Bu durumda, her bir sonuç için ayrı kesişim noktaları elde etmek için, genel kesişmeyi bastırır ve ölçüm için her iki sahte vektörü de dahil edersiniz. Bu bir çeşit çok değişkenli analizdir. Genellikle kullanılarak yapılmazlm()çünkü tekrarlanan önlemler aldınız ve muhtemelen bağımsız olmamaya izin vermelisiniz. Ancak, bunun gerekli olduğu bazı ilginç durumlar vardır. Örneğin, rastgele etkilere sahip bir arabuluculuk analizi yapmaya çalışırken, tüm varyans kovaryans matrisini elde etmek için, verileri istifleyerek ve kukla vektörlerin akıllıca kullanılmasıyla aynı anda tahmin edilen her iki modele de ihtiyaç duyarsınız.

## stack data for multivariate analysis
dat <- reshape(mtcars, varying = c(1, 3), v.names = "y",
  timevar = "measure", times = c("mpg", "disp"), direction = "long")
dat$measure <- factor(dat$measure)

## two regressions with intercepts only
lm(cbind(mpg, disp) ~ 1, data = mtcars)

Coefficients:
             mpg     disp  
(Intercept)   20.09  230.72

## using the stacked data, measure is difference between outcome means
lm(y ~ measure, data = dat)

Coefficients:
(Intercept)   measurempg  
      230.7       -210.6  

## separate 'intercept' for each outcome
lm(y ~ 0 + measure, data = dat)

Coefficients:
measuredisp   measurempg  
     230.72        20.09  

Kavramaların genel olarak kaldırılması gerektiğini, ancak esnek olmanın iyi olduğunu savunmuyorum.

Burada iyi cevaplar var. İki küçük şey:

1. Durdurma düşürüldüğünde daha yüksek bir olarak, bu mükemmel cevabı @ cardinal ile okumalısınız. (Kısacası, istatistiksel yazılım , kesişme noktası 0'a zorlandığında bazen için farklı bir tanım kullanır. Bu nedenle, kesişen ve kesişmeyen modeller için rapor edilen basitçe karşılaştırılamayabilir.) R 2 R $R^2$$R^2$$R^2$
2. Birkaç kişi olman gereken noktayı belli bırakarak önce (teorik nedenlerle) yolunu kesmek 0 olmalı ve bu 'önemli' değil sadece o değil. Bence bu doğru, ama bütün hikaye değil. Ayrıca, gerçek veri üretme işlevinin birlikte çalıştığınız aralığında ve 0'a kadar tamamen doğrusal olduğunu bilmeniz gerekir. Unutmayın ki, işlevin verilerinizde yaklaşık olarak doğrusal olması her zaman mümkün, ama aslında hafifçe eğri. Fonksiyonu, gözleminiz dahilinde lineermiş gibi, mükemmel şekilde olmasa bile, fakat eğer öyle değilse bile$X$gerçek engel 0 olsa bile .

Sıfır değerine sahip tüm açıklayıcı değişkenleri görmenizin muhtemel olup olmadığına bakılmaksızın, kesişmeyi bırakmamalısınız.

Burada çok benzer bir soruya iyi bir cevap var .

Engellemeyi kaldırırsanız, diğer tahminlerin tümü önyargılı hale gelir. Kesişmenin gerçek değeri yaklaşık olarak sıfır olsa bile (bu, verilerinizden tamamlayabileceğiniz tek şeydir), tam olarak sıfır olmaya zorlarsanız, eğimlerle uğraşıyorsunuzdur .

UNLESS - müdahalenin sıfır olmasını gerektiren çok açık ve açık bir fiziksel modelle bir şey ölçüyorsunuz (örneğin, açıklayıcı değişkenler olarak dikdörtgen bir prizmanın yüksekliği, genişliği ve uzunluğuna sahipsiniz ve açıklayıcı değişkenler bazı ölçüm hatalarıyla hacimseldir). Yanıt değişkeniniz evin değeri ise, kesinlikle araya girmeniz gerekir.

Tamam, soruyu LOT olarak değiştirdiniz.

0 olduğunu bildiğiniz zaman engellemeyi dışarıda bırakabilirsiniz. Ve hayır, bunu yapamazsınız çünkü 0'dan önemli ölçüde farklı değildir, 0 olduğunu bilmek zorundasınız veya artıklarınız önyargılıdır. Ve, bu durumda 0'dır, bu yüzden onu dışarıda bırakırsanız hiçbir şey değiştirmez ... bu nedenle, asla dışarıda bırakmayın.

ile sahip olduğunuz bulgu verilerin doğrusal olmadığını gösterir. Ve, belirleyiciye sahip bir bölgeye sahip olduğunuz göz önüne alındığında, belirli olanın muhtemelen kesinlikle doğrusal olmadığını belirtin. Bunu düzeltmek için öngörücüyü dönüştürebilirsiniz.$R^2$

Çoklu regresyon modellerinin çoğu, sabit bir terim (yani kesişme noktası) içerir, çünkü bu modelin tarafsız olmasını sağlar - yani, artıkların ortalaması tamamen sıfır olacaktır. (Bir regresyon modelindeki katsayılar en küçük kareler ile tahmin edilir - yani ortalama karesel hatayı en aza indirir. Şimdi, ortalama karesel hata, hataların varyansına artı ortalamalarının karesine eşittir: bu bir matematiksel kimliktir. Modeldeki sabitin değeri hataların ortalamasını değiştirir ancak varyansı etkilemez.Bu nedenle kare hataların toplamı en aza indirilecekse, sabit hataların ortalaması sıfır olacak şekilde seçilmelidir. )

Basit bir regresyon modelinde, sabit, regresyon çizgisinin Y-kesişimini standartlaştırılmamış formda gösterir. Bir çoklu regresyon modelinde, sabit, tüm bağımsız değişkenler aynı anda sıfıra eşitse bağımlı değişken için tahmin edilecek değeri temsil eder - fiziksel veya ekonomik açıdan anlamlı olmayan bir durum. Eğer tüm bağımsız değişkenler aynı anda sıfır olsaydı ne olacağını özellikle merak ediyorsanız, o zaman istatistiksel öneminden bağımsız olarak normalde sabiti modelde bırakırsınız. Örnek içi hataların tarafsız olmasını sağlamanın yanı sıra, sabitin varlığı, regresyon çizgisinin "kendi seviyesini aramasını" sağlar ve yalnızca yerel olarak doğrusal olabilecek verilere en iyi şekilde uymasını sağlar.

Bununla birlikte, nadir durumlarda, sabiti modelden çıkarmak isteyebilirsiniz. Bu, herhangi bir yazılım paketindeki regresyon prosedüründe modele uyan bir seçenektir ve bazen orijinden geçen regresyon veya kısaca RTO olarak adlandırılır. Genellikle, bu sadece yapılacaktır:

1. aynı anda sıfır değerini varsayarak bağımsız değişkenleri hayal etmek mümkündür ve bu durumda bağımlı değişkenin de sıfıra eşit olacağını mantıklı bir şekilde izlemesi gerektiğini düşünürsünüz; veya başka
2. sabit, kullanmak istediğiniz bağımsız değişkenler kümesi ile gereksizdir.

Bir vaka (1) örneği, tüm değişkenlerin - bağımlı ve bağımsız - diğer zaman serilerinin ilk farklarını temsil ettiği bir model olabilir. X'in ilk farkındaki Y'nin ilk farkını geriliyorsanız, değişkenlerdeki mevcut seviyelere referans vermeden X'deki değişikliklerin doğrusal bir fonksiyonu olarak doğrudan Y'deki değişiklikleri öngörüyorsunuz. Bu durumda, X’in değişmediği zamanlarda ortalama olarak Y’nin değişmemesi gerektiğini varsaymak makul olabilir (zorunlu olmasa da) - yani, Y’nin X seviyesi

Bir örnek olay (2), tam bir mevsimsel gösterge değişkenleri seti kullanmak istediğiniz bir durum olabilir - örneğin, üç aylık verileri kullanıyorsunuz ve katkı maddesini temsil eden Q1, Q2, Q3 ve Q4 değişkenlerini dahil etmek istiyorsunuz mevsimsel etkiler. Böylece, Q1 1 0 0 0 1 0 0 0 ... gibi görünebilir, Q2 0 1 0 0 0 1 0 0 ... gibi görünebilir. Bunların dördünü ve bir sabiti aynı modelde kullanamazsınız, çünkü Q1 + Q2 + Q3 + Q4 = 1 1 1 1 1 1 1 1. . . . sabit bir terimle aynıdır. Yani, Q1, Q2, Q3, Q4 ve CONSTANT beş değişkenleri doğrusal olarak bağımsız değildir: bunlardan herhangi biri diğer dördünün doğrusal bir kombinasyonu olarak ifade edilebilir. Doğrusal bir regresyon modelini yerleştirmek için teknik bir önkoşul, bağımsız değişkenlerin doğrusal olarak bağımsız olması gerektiğidir; aksi takdirde en küçük kareler katsayıları benzersiz bir şekilde belirlenemez,

Bir uyarı kelimesi: R-kare ve F istatistiği, bir RTO modelinde normal bir regresyon modelinde olduğu gibi aynı anlama gelmez ve aynı şekilde tüm yazılımlar tarafından hesaplanmaz. Bazı uyarılar için bu makaleye bakın. Sabit bir terim içeren ve içermeyen modeller arasındaki R-karesini karşılaştırmayı denememelisiniz, buna rağmen regresyonun standart hatasını karşılaştırmak uygundur.

Regresyon jargonunda "bağımsız" teriminin (en azından) üç farklı şekilde kullanıldığına dikkat edin: Önceden ziyade bir yordayıcı olarak kullanılıyorsa, herhangi bir tek değişken bağımsız bir değişken olarak adlandırılabilir. Bir değişken grubu, hiçbiri tam olarak diğerlerinin doğrusal bir kombinasyonu olarak ifade edilemezse, doğrusal olarak bağımsızdır. Bir çift değişken, sadece doğrusal olarak bağımsız olmadıklarında, ancak birbirlerine göre tamamen anlamsız olduklarında, istatistiksel olarak bağımsız olduğu söylenir. Bir regresyon modelinde, bağımlı değişkeninizin istatistiksel olarak bağımsız değişkenlere bağımlı olmasını istersiniz ki bunlar kendi aralarında bağımsız olmalıdır (ancak istatistiksel olarak zorunlu değildir).

Düşüncelerimin tam olarak gözden geçirilmesi. Gerçekten de kesişmenin düşürülmesi yanlılık sorununa neden olacaktır.

Bir kesişimin bir anlamı olacak ve bazı (mantıksız) değerlerin nasıl negatif değerler verebileceğini açıklamaktan kaçınmak için verilerinizi ortalamayı düşündünüz mü? Her üç açıklayıcı değişkeni ortalama sqrft, ortalama lot büyüklüğü ve ortalama banyoları çıkararak ayarlarsanız, kesişme değeri şimdi (sdrft), ortalama sdrft, lotsize ve baths değerleriyle gösterecektir.

Bu merkezleme bağımsız değişkenlerin göreceli ilişkisini değiştirmeyecektir. Bu yüzden, modelin merkezlenmiş verilere uyması hamamı önemsiz bulmaktadır. Modeli banyo dahil olmadan yeniden yerleştirin. Kesişim için hala büyük bir p değeri alabilirsiniz, ancak buna dahil edilmeli ve y = a + b (sqrft) + c (lotsize) şeklinde bir modeliniz olacaktır.

Sadece başka birinin gönderdiği benzer bir soruyu cevaplamak için biraz zaman harcadım, ancak kapatıldı. Burada bazı büyük cevaplar var, fakat verdiğim cevap biraz daha basit. Zayıf bir regresyon anlayışı olan insanlar için daha uygun olabilir.

S1: Modelimdeki engellemeyi nasıl yorumlayabilirim?

Regresyon modellerinde amaç, bir sonuç değişkeninde açıklanamayan varyans miktarını en aza indirmektir:

y = b0 + b1⋅x + ϵ

y, sonuç ölçünüzün tahmini değeri (örneğin, log_blood_hg), b0 kesişme noktasıdır, b1 eğimdir, x bir öngörücü değişkendir ve ϵ artık hatadır.

Kesinti (b0), tüm x = 0 olduğunda, y'nin tahmini ortalama değeridir. Başka bir deyişle, log_blood_hg'deki varyansı daha da azaltmak veya açıklamak için herhangi bir değişken (örneğin türler) kullanmadan önce y'nin temel değeridir. .

Bir eğim ekleyerek (log_blood_hg'deki bir birimlik artışın / azalmanın x, örneğin türdeki bir birim artışla nasıl değiştiğini tahmin ederek), başlangıç ​​değeri olan sonuç değişkeni hakkında zaten bildiklerimize ekleriz (yani kesişme), başka bir değişkendeki değişikliğe göre.

S2: Özellikle modellerin çok farklı sonuçlar verdiği gerçeğiyle ilgili olarak, kesmenin dahil edilmesi veya dahil edilmemesi uygun olduğunda?

Bunun gibi basit modeller için, kesmeyi bırakmak hiçbir zaman gerçekten uygun değildir.

Kesişimi düşürdüğünüzde modeller farklı sonuçlar verir çünkü eğimi Y'nin başlangıç ​​değerine topraklamak yerine, y'nin başlangıç ​​noktası olan 0 olması gerekir. Bu nedenle eğim daha dikleşir (yani daha güçlü ve anlamlı ) çünkü çizgiyi orijine doğru zorladınız, çünkü y'deki farkı en aza indirmek için daha iyi bir iş çıkardığı için. Başka bir deyişle, yapay olarak, kesişimi veya modeliniz için başlangıç ​​topraklama noktasını kaldırarak y'deki farkı en aza indiren bir model yarattınız.

Kesişmenin kaldırılmasının uygun olduğu durumlar vardır - örneğin 0-kesimli bir fenomeni tarif ederken. Burada , bir engellemeyi kaldırmanın neden iyi bir fikir olmadığını belirten daha fazla neden hakkında bilgi bulabilirsiniz .

Kısa cevap : (neredeyse) ASLA. Doğrusal regresyon modelinde , ayarladıysanız , verilen nin beklenen değerinin sıfır olduğunu biliyorsunuzdur . Bunu asla bilemezsin.

$R^2$ , model daha iyi olduğu için değil, fakat kullanılan tanımının bir başkası olduğu için kesişmeden daha da yükselir ! , tahmini model ile standart modelin kareler toplamına kıyasla kareler toplamında azalma olarak ifade edilen bazı standart modellerle karşılaştırmasının bir ifadesidir. Kesişen modelde karelerin karşılaştırma toplamı ortalamanın üzerindedir. Kesişme olmadan, sıfır civarında! Sonuncusu genellikle çok daha yüksektir, dolayısıyla karelerin toplamında büyük bir azalma elde etmek daha kolaydır.$R^2$$R^2$

Sonuç: MODELİN KABUL EDİLMESİNİ YAPMAYIN (gerçekten ne yaptığınızı gerçekten bilmiyorsanız).

Bazı istisnalar : Bir istisna, ALL faktörleri için aptallara sahip tek yönlü bir ANOVA'yı temsil eden bir regresyondur (genellikle bir tanesi dışarıda bırakılır) (ancak bu sadece bir istisna değildir; sabit vektör 1, model matrisinin sütun alanındadır. ) Aksi takdirde, fiziksel ilişkiler gibi sabit olmayan yerler. Ancak o zaman bile, model sadece yaklaşıksa (hız gerçekten sabit değil), yorumlanmasa bile sabit bir durumda bırakmak daha iyi olabilir. $X$$s=v t$

Engellemeyi dışarıda bırakan özel modeller de vardır. Bir örnek eşleştirilmiş veridir, ikiz çalışmalar .