72

Doğrusal regresyon için olağan varsayımlar nelerdir?

Bunlar şunları içeriyor mu:

bağımsız ve bağımlı değişken arasındaki doğrusal ilişki
bağımsız hatalar
hataların normal dağılımı
homoscedasticity

Başka var mı?

regression assumptions

— tony
kaynak

3

William Berry'nin "Regresyon Varsayımlarını Anlama" başlıklı küçük kitabında oldukça eksiksiz bir liste bulabilirsiniz: books.google.com/books/about/…

3

Katılımcılar bazı iyi kaynakları listelemiş olsalar da, bu formatta cevap vermek zor bir sorudur ve (çoğu) kitap yalnızca bu konuya ayrılmıştır. Yemek kitabı yoktur ve doğrusal regresyonun içerebileceği çeşitli potansiyel durumlar verilmemelidir.

— Andy W

3

Teknik olarak, (sıradan) doğrusal regresyon, , formunun bir modelidir. Bu basit matematiksel ifade tüm varsayımları kapsar . Bu beni düşündürür @Andy W, soruyu daha geniş yorumluyor olabilirsiniz, belki de sanat ve regresyon pratiği anlamında. Bununla ilgili diğer düşünceleriniz burada yararlı olabilir.

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

— whuber

2

@Andy WI yorumunuzun yanlış olduğunu söylemeye çalışmıyordu. Yorumunuz, teknik regresyonların ötesine geçen ve belki de regresyon sonuçlarının geçerli yorumlanması için neyin gerekli olabileceğine işaret eden bir soru düşünmeyi önerdi. Buna cevap olarak bir inceleme yazmak gerekli olmayacaktı, ancak bu geniş sorunların bir listesi bile aydınlatıcı olabilir ve bu konunun kapsamını ve ilgisini genişletebilir.

— whuber

1

@ whuber, eğer ise, bu, araçların farklı için farklı olduğu anlamına gelir , bu nedenle , olamaz :)

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

— mpiktas

78

Cevap, tam olarak ve her zaman nasıl tanımladığınıza bağlıdır. Doğrusal regresyon modelini şu şekilde yazdığımızı varsayalım: $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

burada belirleyici değişkenlerin vektörü, , ilgi konusu bir parametredir yanıt değişkendir ve rahatsızlık vardır. Muhtemel tahmin bir : en küçük kareler tahmindir $\mathbf{x}_i$ $\beta$ $y_i$ $u_i$ $\beta$

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

Şimdi pratik olarak ders kitaplarının tümü, bu tahmini tarafsızlık, tutarlılık, verimlilik, bazı dağıtım özellikleri gibi istenen özelliklere sahip olduğu varsayımlarıyla ilgilenmektedir . $\hat\bet$

Bu özelliklerin her biri, aynı olmayan belirli varsayımları gerektirir. Bu nedenle, daha iyi soru, LS tahmininin istenen özellikleri için hangi varsayımların gerekli olduğunu sormak olacaktır.

Yukarıda bahsettiğim özellikler, regresyon için bazı olasılık modelleri gerektiriyor. Ve burada farklı uygulama alanlarında farklı modellerin kullanıldığı bir durum var.

Basit durum, bağımsız bir rasgele değişken olarak davranmaktır , rasgele değildir. Her zamanki kelimeyi sevmiyorum, ancak bunun çoğu uygulamalı alanda (bildiğim kadarıyla) her zamanki durum olduğunu söyleyebiliriz. $y_i$ $\x_i$

İstatistiksel tahminlerin istenen özelliklerinden bazılarının listesi:

Tahmin var.
Tutarsızlık: . $E\hat\bet=\bet$
Tutarlılık: , ( burada bir veri örneğinin boyutudur). $\hat\bet \to \bet$ $n\to\infty$ $n$
Verimlilik: daha küçüktür alternatif tahminler için ait . $\Var(\hat\bet)$ $\Var(\tilde\bet)$ $\tilde\bet$ $\bet$
dağılım fonksiyonunu yaklaşık olarak hesaplayabilme veya hesaplayabilme . $\hat\bet$

varoluş

Varlık özelliği garip görünebilir, ancak bu çok önemlidir. tanımında, matrisini tersine $\hat\beta$ $\sum \x_i \x_i'.$

Bu matrisin tersinin tüm olası varyasyonları için mevcut olduğu garanti edilmez . Böylece hemen ilk varsayımımızı elde ediyoruz: $\x_i$

Matris tam dereceli olmalıdır, yani ters çevrilebilir. $\sum \x_i \x_i'$

Yansızlık

Biz eğer

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

İkinci varsayımı adlandırabiliriz, ancak doğrusal ilişkiyi tanımlamanın doğal yollarından biri olduğu için açıkça ifade etmiş olabiliriz.

O sapmasızlık biz sadece gerektirdiğini almak için not herkes için ve sabitlerdir. Bağımsızlık özelliği gerekli değildir. $\E y_i = \x_i \bet$ $i$ $\x_i$

Tutarlılık

Tutarlılık varsayımlarını elde etmek için ne demek istediğimizi daha net bir şekilde belirtmemiz gerekir . Rastgele değişkenlerin dizileri için farklı yakınsama modlarına sahibiz: olasılıkta, neredeyse kesin olarak, dağılım ve an momenti anlamında. Yakınsama olasılığını almak istediğimizi varsayalım. Büyük sayılar yasasını ya da çok değişkenli Chebyshev eşitsizliğini doğrudan kullanabiliriz ( ). $\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

(Bu eşitsizliğin varyantı, doğrudan Markov'un eşitsizliğini , .) $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

Olasılıkta yakınsama sol terim herhangi ortadan gerektiği anlamına gelir yana olarak , buna ihtiyacımız olarak . Bu, kesinlikle daha mantıklı çünkü daha fazla veri ile tahmin ettiğimiz oranının artması gerekiyor. $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

Biz sahip olduğunu

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

Bağımsızlık olmasını sağlar , dolayısıyla ifade $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

Şimdi , sonra $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

Şimdi ek olarak , her bir için nin sınırlandırılmasını istiyorsak, hemen $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

Dolayısıyla tutarlılığı elde etmek için otokorelasyon olmadığını varsaydık ( ), varyans sabittir ve fazla büyümez. İlk varsayım, bağımsız örneklerden gelirse tatmin olur . $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

verim

Klasik sonuç Gauss-Markov teoremidir . Bunun şartları tam olarak tutarlılık için ilk iki şart ve tarafsızlık şartıdır.

Dağıtım özellikleri

Eğer normalse, normal rastgele değişkenlerin doğrusal bir kombinasyonu olduğu için hemen normal olduğunu alırız . Daha önceki bağımsızlık, ilişkisizlik ve sabit sapma varsayımlarını kabul edersek, bu buradaki . $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

Eğer normal değil, bağımsızsa, merkezi limit teoremi sayesinde yaklaşık dağılımını alabiliriz . Bunun için varsaymak gerekir bir matrisi . Asimptotik normalliğin sabit varyansı, eğer $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

değişkeninin değişmesi durumunda sahip olduğumuzu unutmayın . Merkezi limit teoremi daha sonra bize şu sonucu verir: $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

Bundan dolayı, için bağımsızlık ve sabit varyansın ve için bazı varsayımların bize LS tahmini için birçok yararlı özellik . $y_i$ $\mathbf{x}_i$ $\hat\bet$

Mesele şu ki, bu varsayımlar rahatlatılabilir. Örneğin, rastgele değişken olmamasını istedik . Bu varsayım ekonometrik uygulamalarda mümkün değildir. rasgele olmasına izin verirsek, koşullu beklentileri kullanır ve rasgeleliğini hesaba benzer sonuçlar alabiliriz . Bağımsızlık varsayımı da gevşetilebilir. Zaten, sadece ilişkisizliğin gerekli olduğunu gösterdik. Bu bile daha rahat olabilir ve LS tahmininin tutarlı ve asimptotik normal olacağını göstermek mümkündür. Daha fazla ayrıntı için örneğin White'ın kitabına bakın. $\x_i$ $\x_i$ $\x_i$

— mpiktas
kaynak

Gauss-Markov teoremi hakkında bir yorum. Yalnızca OLS'nin, verilerin doğrusal işlevleri olan diğer tahmin edicilerden daha iyi olduğunu belirtir. Bununla birlikte, yaygın olarak kullanılan çoğu tahmin edici, özellikle de maksimum olasılık (ML), verilerin doğrusal işlevleri değildir ve Gauss-Markov teoremi koşulları altında OLS'den çok daha verimli olabilir.

— Peter Westfall

@PeterWestfall Gaussian normal hatalar için MLE, OLS'dir :) Ve MLE'den daha verimli olamazsınız. Bu yazıda matematiksel detaylarla hafif olmaya çalıştım.

— mpiktas

1

Demek istediğim, GM koşulları geçerli olduğunda normal olmayan dağılımlar altında OLS'den daha verimli tahmin ediciler olduğu idi. GM, normal olmayan durumlarda en iyi tahmin ediciler, verilerin doğrusal olmayan işlevleri olduğu için, OLS'nin normal olmadığına göre "iyi" olduğu ifadesi olarak kullanışsızdır.

— Peter Westfall

@mpiktas Öyleyse rasgele değil olarak alıyoruz ve tahminci veya rasgele olarak kullanıyoruz ve tahmincisi ?

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

— Parthiban Rajendran

16

Burada çok sayıda iyi cevap var. Bana göre ancak belirtilmemiş bir varsayım olduğu (en azından açıkça belirtilmediği) ortaya çıkar. Spesifik olarak, bir regresyon modeli, (açıklayıcı / öngörücü değişkenlerinizin değerleri) sabit ve bilindiğini ve durumdaki tüm belirsizliğin değişkeni içinde bulunduğunu varsayar . Ayrıca, bu belirsizliğin sadece örnekleme hatası olduğu varsayılmaktadır . $\mathbf X$ $Y$

Bunu düşünmenin iki yolu var: Açıklayıcı bir model oluşturuyorsanız (deneysel sonuçları modelleme), bağımsız değişkenlerin seviyelerinin tam olarak ne olduğunu biliyorsunuzdur, çünkü bunları manipüle etmiş / yönetmişsinizdir. Dahası, veri toplamaya başlamadan önce bu seviyelerin ne olacağına karar verdiniz. Demek, cevaptaki mevcut ilişkideki bütün belirsizlikleri kavramsallaştırıyorsunuz. Öte yandan, öngörücü bir model oluşturuyorsanız, durumun farklı olduğu doğrudur, ancak tahminlere hala sabit ve bilinen gibi davranırsınız , çünkü gelecekte, bir tahmin yapmak için modeli kullanırken olası değeri hakkında bir vektörünüz olacaktır, $y$ $\mathbf x$ ve model, bu değerleri doğru gibi değerlendirmek için tasarlanmıştır. Yani, belirsizliği bilinmeyen değeri olarak . $y$

Bu varsayımlar prototip regresyon modeli için denkleminde görülebilir: A (ölçüm hatası yüzünden olabilir) belirsizlikle modeli yanı sıra aynı veri üretme işlemini sahip olabilir, ancak modeli bu şöyle görünecektir: burada rasgele ölçüm hatasını gösterir. (İkincisi gibi durumlar üzerinde çalışmaya yol açmıştır değişkenler modellerinde hatalar ; temel bir sonucu olduğunu ölçüm hatası varsa , naif

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ gerçek değerinden daha yakın 0, ve ölçüm hatası olması durumunda - zayıflatılmış olur , istatistiksel testler 'nın yeterince güçlü, fakat başka şekilde tarafsız olacaktır).

y

$y$

\hat{β}

$\hat\beta$

Tipik varsayım intrinsik asimetri pratik bir sonucu, geriletici olmasıdır ile ilgili gerileme farklıdır ile . (Buradaki cevabımı görün: Bu gerçeğin daha ayrıntılı bir tartışması için y ile x ve x ile y ile doğrusal regresyon yapmak arasındaki fark nedir? ) $y$ $x$ $x$ $y$

— gung
kaynak

"Sabit" ne demek? sade bir dilde "rastgele" ? Ve sabit ve rastgele etkiler (= faktörler) arasında nasıl ayrım yapılır? Benim tasarımımda 5 seviyeli bilinen 1 sabit faktör olduğunu düşünüyorum . Sağ?

— Stan

1

@stan, kafanızın karıştığını biliyorum. İstatistiklerdeki terminoloji genellikle kafa karıştırıcı ve yararsızdır. Bu durumda, "sabit", "sabit etkiler ve rastgele etkiler" deki sabit ile aynı değildir (ilişkili olsalar da). Burada, etkilerden bahsetmiyoruz - verilerinden bahsediyoruz , yani öngörücü / açıklayıcı değişkenleriniz. verilerinizin sabit kaldığı fikrini anlamanın en kolay yolu planlı bir deneme düşünmektir. Herhangi bir şey yapmadan önce, deneyi tasarlarken, açıklamanızın seviyelerinin ne olacağına karar verirsiniz, yol boyunca onları keşfetmezsiniz.

X

$X$

X

$X$

— gung

W / prediktif modelleme, bu tam olarak doğru değildir, ancak , tahmin yapmak için modeli kullandığımız zaman, verilerimizi gelecekte bu şekilde ele alacağız.

X

$X$

— gung

Neden and'ler ve ε'nın alt denklemde bir şapka var, ama üstte değil?

— user1205901

2

@ user1205901, en üstteki model veri üretme işlemine ait, alttaki ise sizin tahmininizdir.

— gung

8

Klasik doğrusal regresyon modelinin varsayımları aşağıdakileri içerir:

Doğrusal parametre ve doğru model özellikleri
X Matrisinin Tam Sıralaması
Açıklayıcı Değişkenler dışsal olmalı
Bağımsız ve Aynı Olarak Dağıtılmış Hata Terimleri
Nüfustaki Normal Dağıtılmış Hata Terimleri

Buradaki cevaplar, klasik OLS varsayımına halihazırda iyi bir genel bakış sunsa da, klasik lineer regresyon modelinin varsayımına ilişkin daha kapsamlı bir açıklamayı burada bulabilirsiniz:

https://economictheoryblog.com/2015/04/01/ols_assumptions/

Ek olarak, makale belirli varsayımları ihlal ettiği takdirde sonuçları açıklar.

— Tristian Onari
kaynak

6

OLS'yi haklı çıkarmak için farklı varsayımlar kullanılabilir

Bazı durumlarda, bir yazar artıkları normallik için test eder.
- Ancak diğer durumlarda, artıklar normal değildir ve yazar yine de OLS kullanır!
Homossedasticity'nin bir varsayım olduğunu söyleyen metinleri göreceksiniz.
- Ancak eşcinsellik ihlal edildiğinde OLS kullanan araştırmacıları görüyorsunuz.

Ne oluyor?!

Cevap, sıradan en küçük kareler (OLS) tahmininin kullanımını doğrulamak için biraz farklı varsayım setlerinin kullanılabileceğidir. OLS çekiç gibi bir alettir: çivilerde çekiç kullanabilirsiniz ancak buzu kırmak için mandallarda da kullanabilirsiniz.

İki geniş varsayım kategorisi, küçük örneklere uygulananlar ve büyük örneklere dayananlardır, böylece merkezi limit teoremi uygulanabilir.

1. Küçük örnek varsayımlar

Hayashi'de (2000) tartışıldığı gibi küçük örnek varsayımlar:

Doğrusallık
Sıkı dışa dönüklük
Çoklu bağlantı yok
Küresel hatalar (eşcinsellik)

(1) - (4) 'te, Gauss-Markov teoremi uygulanır ve normal en küçük kareler tahmincisi en iyi doğrusal yansız tahmin edicidir.

Hata terimlerinin normalliği

Ayrıca normal hata terimlerinin varsayılması hipotez testine izin verir . Hata terimleri koşullu olarak normalse, OLS tahmincisinin dağılımı da koşullu olarak normaldir.

Dikkate değer bir diğer nokta, normallikte, OLS tahmin edicisinin aynı zamanda maksimum olabilirlik tahmincisi olmasıdır .

2. Büyük örnek varsayımları

Bu varsayımlar, yeterince büyük bir örneğe sahip olmamız durumunda, çok sayıda kanuna (OLS tahmincisinin tutarlılığı için) ve merkezi limit teoremine (OLS tahmincisinin örnekleme dağılımı yakınsamaya dayanacak şekilde) dayanabileceğimiz şekilde değiştirilebilir / rahatlatılabilir. normal dağılım ve hipotez testleri yapabilir, p-değerleri hakkında konuşabiliriz…).

Hayashi bir makroekonomik adamdır ve büyük örnek varsayımları, zaman serisi bağlamı göz önünde bulundurularak formüle edilmiştir:

doğrusallık
ergodik durağanlık
önceden belirlenmiş regresörler: hata terimleri kendi çağdaş hata terimlerine diktir.
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ tam sırası
$\mathbf{x}_i \epsilon_i$ , sonlu saniye momentleriyle martingale fark dizisidir .
Sonlu 4. Regressör Momentleri

Bu varsayımların daha güçlü sürümleriyle karşılaşabilirsiniz, örneğin, bu hata terimleri bağımsızdır.

Uygun büyük örnek varsayımları sizi OLS tahmincisinin asimptotik olarak normal olan örnekleme dağılımına götürür .

Referanslar

Hayashi, Fumio, 2000, Ekonometri

— Matthew Gunn
kaynak

5

Her şey modelinizle ne yapmak istediğinizle ilgili. Hatalarınızın pozitif ya da normal olmadığından emin olun. Tahmin aralığı yapmak istiyorsanız, t-dağılımını kullanmaktan daha iyisini yapabilirsiniz. Varyansınız daha küçük öngörülen değerlerde daha küçükse, yine çok büyük bir tahmin aralığı oluşturacaksınız.

Varsayımların neden orada olduğunu anlamak daha iyidir.

— Adem
kaynak

4

Aşağıdaki diyagramlar, sonlu ve asimptotik senaryolarda hangi sonuçların alınabileceğini görmek için hangi varsayımların gerekli olduğunu göstermektedir.

Sadece varsayımların ne olduğunu değil, aynı zamanda bu varsayımların anlamını da düşünmenin önemli olduğunu düşünüyorum. Örneğin, yalnızca yansız katsayıları önemsiyorsanız, homoskedastikliğe ihtiyacınız yoktur.

— DVL
kaynak

2

Aşağıdakiler Doğrusal Regresyon analizinin varsayımlarıdır.

Doğru şartname . Doğrusal işlevsel form doğru şekilde belirtildi.

Sıkı dışa dönüklük . Regresyondaki hatalar şartlı ortalama sıfıra sahip olmalıdır.

Çoklu bağlantı yok . X'teki regresörlerin tümü doğrusal olarak bağımsız olmalıdır.

Homoscedasticity , hata ifadesinin her gözlemde aynı varyansa sahip olduğu anlamına gelir.

Otomatik ilişki yok : hatalar gözlemler arasında korelasyon göstermiyor.

Normallik. Bazen hataların, regresörlere bağlı normal dağılıma sahip olduğu varsayılmaktadır.

Iid gözlemleri : bağımsızdır ve tüm için , aynı dağılıma sahiptir . $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

Daha fazla bilgi için bu sayfayı ziyaret edin .

— Aşk-istatistik
kaynak

4

"Çok kutupluluk yok" yerine "doğrusal bağımlılık yok" derdim. Gizli olma genellikle kategorik ölçü yerine sürekli olarak kullanılır. Yasak olan yalnızca kesin veya kesin bir topluluktur.

— Peter Flom

2

Zaman serisi regresyonu ne olacak? Genelleştirilmiş en küçük karelerden ne haber? Listeniz, son 4 varsayımın, sadece en küçük karelerin tahmininde tutarlılığı ve asimptotik normallikini umursamıza çok kısıtlayıcı olabildiği durumlarda, biraz emir listesini okur.

— mpiktas

1

Çok- doğrusallık , yorumlama problemlerini yükseltir (bazı parametrelerin tanımlanabilirliği ile ilgili) ancak kesinlikle doğrusal regresyon modellerinin standart bir varsayımı değildir . Yakın eşdüzlemlilik öncelikle bir olduğunu hesaplamalı sorun değil, aynı zamanda yorumlama benzer sorunlar ortaya çıkarmaktadır.

— whuber

@whuber & Peter Flom: Gujarati kitabında sayfa no. 65-75. tiny.cc/cwb2g Regresyon analizinin bir varsayımı olarak "çok kutupluluk yok" ifadesini kullanır .

— aşk istatistikleri

@mpiktas: Verilen URL'yi cevapta ziyaret ederseniz, zaman serileri regresyonu hakkında bir varsayım bulacaksınız.

— aşk istatistikleri

2

Tek bir varsayım listesi diye bir şey yoktur, en azından 2: bir tanesi sabit, diğeri rasgele tasarım matrisi için olacaktır. Artı , zaman serileri gerilemelerinin varsayımlarına da bakmak isteyebilirsiniz (bkz. S.13).

Tasarım matris durumda bir sabit en sık olabilir ve varsayımları genellikle olarak ifade edilmiştir Gauss-Markov teoremi . Sabit tasarım, regresörleri gerçekten kontrol ettiğiniz anlamına gelir. Örneğin, bir deney ve ayrıca S.13 vb sıcaklık, basınç gibi parametreler bakın ayarlayabilirsiniz burada . $X$

Ne yazık ki, ekonomi gibi sosyal bilimlerde, nadiren deney parametrelerini kontrol edebilirsiniz. Genellikle, ekonomide neler olduğunu gözlemlersiniz , çevre ölçümlerini kaydeder ve daha sonra bunlara gerileyin. Rastgele bir tasarım olarak adlandırılan çok farklı ve daha zor bir durum olduğu ortaya çıktı . Bu durumda Gauss-Markov teoremi olan modifiye da s.12 bakınız burada . Sen koşullar artık cinsinden ifade edilir nasıl görebilirsiniz koşullu zararsız bir değişiklik olmadığı olasılıklar.

Ekonometride, varsayımların isimleri vardır:

doğrusallık
kesin dışsallık
çoklu bağlantı yok
küresel hata varyansı (homoscedastisite içerir ve korelasyon yoktur)

Normalden hiç bahsetmediğime dikkat edin. Bu standart bir varsayım değil. Genellikle intro regresyon derslerinde kullanılır, çünkü bazı türevleri kolaylaştırır, ancak regresyonun çalışması ve iyi özelliklere sahip olması gerekmez.

— Aksakal
kaynak

1

Doğrusallık varsayımı, modelin parametrelerde doğrusal olduğu şeklindedir. Bağımsız değişkenlerin güç işlevi doğrusal bir katkı modelinin bir parçası olduğu sürece, karesel veya daha yüksek dereceden etkilere sahip bir regresyon modeline sahip olmak iyidir. Model gerektiğinde daha yüksek dereceli terimler içermiyorsa, artıkların arsalarında uyumsuzluk belirginleşecektir. Bununla birlikte, standart regresyon modelleri, bağımsız değişkenin bir parametrenin gücüne yükseltildiği modelleri içermez (bu tür modelleri değerlendirmek için kullanılabilecek başka yaklaşımlar olmasına rağmen). Bu modeller doğrusal olmayan parametreler içerir.

— İstatistiklerDoc Danışmanlık
kaynak

1

En küçük kareler regresyon katsayısı, herhangi bir veride birinci dereceden eğilimi özetlemenin bir yolunu sağlar. @mpiktas cevap, en küçük karelerin gittikçe artan şekilde optimum hale geldiği koşulların eksiksiz bir tedavisidir. Diğer yoldan gitmek ve en küçük kareler işe yaradığında en genel durumu göstermek istiyorum. En küçük kareler denkleminin en genel formülasyonunu görelim:

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

Bu sadece cevabın koşullu ortalaması için doğrusal bir model.

Not Hata terimini aldım. belirsizliğini özetlemek istiyorsanız, o zaman merkezi limit teoremine itiraz etmeniz gerekir. En genel kareler tahmin edicilerinin en genel sınıfı, Lindeberg koşulu karşılandığında normale yaklaşır : aşağı kaynar, en küçük kareler için Lindeberg koşulu, en büyük kareler artıklarının kesiminin kareler artıklarının toplamına göre 0'a kadar gitmesini gerektirir. . Tasarımınız daha büyük ve daha büyük artıkları örneklemeye devam ederse, deney "suda ölü" olur. $\beta$ $n \rightarrow \infty$

Lindeberg koşulu sağlandığında, regresyon parametresi iyi tanımlanır ve tahminci , bilinen bir yaklaşık dağılımına sahip olan tarafsız bir tahmin edicidir. Daha verimli tahminciler mevcut olabilir. Diğer heterossedastisite veya korelasyon verilerinde, genellikle ağırlıklı bir tahmin edici daha verimlidir . Bu yüzden, daha iyi olanlar mevcut olduğunda, naif yöntemleri kullanmayı asla savunmam. Fakat çoğu zaman değildir! $\beta$ $\hat{\beta}$

— Adamo
kaynak

1

Ekonometristler için: Bu koşulun kesin dışsallığa işaret ettiğini belirtmekte fayda vardır, bu nedenle katı dışsallığın koşullu ortalama modelinde bir varsayım olarak belirtilmesine gerek yoktur. Matematiksel olarak otomatik olarak doğrudur. (Burada konuşurken teori, tahmin yok.)

— Peter Westfall

Doğrusal regresyon için olağan varsayımların tam listesi nedir?

OLS'yi haklı çıkarmak için farklı varsayımlar kullanılabilir

1. Küçük örnek varsayımlar

2. Büyük örnek varsayımları

Referanslar