OLS tahmincisi türetmek için varsayımlar

Birisi benim için kısaca açıklayabilir mi, OLS tahmincisini hesaplamak için altı varsayımın her birine neden ihtiyaç duyulur? Sadece çoklu doğrusallık hakkında buldum - eğer mevcutsa (X'X) matrisini tersine çeviremeyiz ve sonuç olarak genel tahminciyi tahmin edemeyiz. Peki ya diğerleri (örneğin, doğrusallık, sıfır ortalama hatalar, vb.)?

least-squares assumptions

— Ieva
kaynak

İlgili: Doğrusal regresyon için olağan varsayımların tam listesi nedir?

— gung - Monica'yı eski

Kavramsal bir açıklama mı arıyorsunuz, yoksa matematiksel bir gösteriye mi ihtiyacınız var?

— gung - Monica'yı eski

Sıradan en küçük kareler sayısal bir prosedürdür, hesaplamak için çok fazla varsayım gerekmez (tersinirlik dışında). Varsayımlar haklı ihtiyaç vardır çıkarım : ona dayalı, benim cevap dün bkz stats.stackexchange.com/questions/148803/...

— Halvorsen Kjetil b

Tam olarak hangi "altı varsayımdan" bahsediyorsunuz? Sadece üçünden bahsediyorsun.

— whuber

1) doğrusallık 2) çoklu bağlantı doğrusallığı olmaması 3) sıfır ortalama hata 4) küresel hatalar (homossedastisite ve otokorelasyon dışı) 5) stokastik olmayan regresörler ve 6) normal dağılım. Aşağıdaki cevaptan da anlaşılacağı gibi, tahmin ediciyi türetmek için sadece ilk üçü gereklidir ve diğerleri sadece tahmin edicinin MAVİ olduğundan emin olmak için mi gereklidir?

— Ieva

Yanıtlar:

Mükemmel çoklu bağlantıya sahip olduğunuz durum dışında OLS tahmincisini her zaman hesaplayabilirsiniz. Bu durumda, X matrisinizde mükemmel çok doğrusal bağımlılığa sahip olursunuz. Sonuç olarak, tam sıralama varsayımı yerine getirilmez ve tersinirlik sorunları nedeniyle OLS tahmincisini hesaplayamazsınız.

Teknik olarak, OLS tahmincisini hesaplamak için diğer OLS varsayımlarına ihtiyacınız yoktur. Bununla birlikte, Gauss-Markov teoremine göre, tahmincinizin MAVİ olması için OLS varsayımını (clrm varsayımları) yerine getirmeniz gerekir.

Gauss-Markov teoremi ve matematiksel türevinin kapsamlı bir tartışmasını burada bulabilirsiniz:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Ayrıca, OLS varsayımına genel bir bakış, yani kaç tane varsa, neye ihtiyaç duyduklarını ve tek OLS varsayımını ihlal ederseniz ne olacağını burada ayrıntılı bir tartışma bulabilirsiniz:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Umarım yardımcı olur, şerefe!

— Simon Degonda
kaynak

Aşağıdakiler basit kesitlere dayanmaktadır, zaman serileri ve paneller için biraz farklıdır.

Popülasyonda ve dolayısıyla örnekte, model şu şekilde yazılabilir: Bu bazen yanlış anlaşılan doğrusallık varsayımıdır. Model parametrelerde doğrusal olmalıdır - yani . ile istediğiniz her şeyi yapmakta özgürsünüz . Günlükler, kareler vb. Durum böyle değilse, model OLS tarafından tahmin edilemez - başka bir doğrusal olmayan tahminciye ihtiyacınız vardır. $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
Rastgele bir örnek (kesitler için) Bu, çıkarım ve örnek özellikleri için gereklidir. OLS'un saf mekaniği için bir şekilde önemsizdir.
Mükemmel Eşitsizlik Yok Bu, arasında mükemmel bir ilişki olamayacağı anlamına gelir . Bu, un tekil olmayan olmasını sağlayan varsayımdır , öyle ki var olur. $x_i$ $(X’X)$ $(X’X)^{-1}$
Sıfır koşullu ortalama: . Bu, modeli doğru bir şekilde belirttiğiniz anlamına gelir: atlanan değişkenler yoktur ve tahmin ettiğiniz işlev formu (bilinmeyen) nüfus modeline göre doğrudur. Bu, OLS ile her zaman sorunlu bir varsayımdır, çünkü aslında geçerli olup olmadığını bilmenin bir yolu yoktur. $E(u|X) = 0$
Hatalar teriminin varyansı sabittir, tüm : koşuluna bağlıdır, yine OLS mekaniği için hiçbir şey ifade etmez, ancak normal standart hataların geçerli olmasını sağlar. $X_i$ $\Var(u|X)=\sigma^2$
Normallik; u hata terimi bağımsızdır ve . Yine bu, OLS mekaniği ile ilgisizdir, ancak örnekleme dağılımının normal olmasını sağlar , . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Şimdi çıkarımlar için.

1-6 altında (klasik doğrusal model varsayımları) OLS, en düşük varyans anlamında en iyi olan MAVİ'dir (en iyi doğrusal tarafsız tahmin edici). Aynı zamanda tüm lineer tahmin ediciler ve x'in bazı fonksiyonlarını kullanan tüm tahmin ediciler arasında etkilidir. Daha da önemlisi 1-6 altında OLS aynı zamanda minimum varyans yansız tahmin edicisidir. Bu, tüm yansız tahmin ediciler arasında (sadece lineer değil) OLS'un en küçük varyansa sahip olduğu anlamına gelir. OLS da tutarlıdır.
1-5 (Gauss-Markov varsayımları) altında OLS MAVİ ve etkilidir (yukarıda açıklandığı gibi).
1-4 altında OLS tarafsız ve tutarlıdır.

Aslında OLS, den daha zayıf bir varsayımla da tutarlıdır : ve . Varsayımlardan 4 fark, bu varsayım altında, fonksiyonel ilişkiyi mükemmel bir şekilde çivi çakmaya gerek duymamanızdır. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Repmat
kaynak

Bence sıfır ortalama durum hakkında çok karanlık bir resim çiziyorsunuz. Bir yanlılık olsaydı, o zaman kare sapmaların toplamını en aza indirmek uygun bir şey olmazdı, ancak diğer taraftan, yanlılığı regresyon denklemini kaydırarak (yanlılığı ) ve sonra Eğer do 4 hem doğrulamak için imkansız ve görmezden kolaydır, başka deyişle ortalama 0 değerini var.

β_{0}

$\beta_0$

— user3697176

Üzgünüm ama aynı fikirde değilim. Ya da belki sadece seni yanlış anlıyorum? Ya eloborat yapabilir ya da referans verebilir misiniz?

— Repmat

I OP ilgilenen değildi inanıyoruz (örneğin, sırt regresyon gibi) yaklaşık kasıtlı çarpık tahmini, konuşmak değil., Burada Hal bir modeli söz ediyorum olarak ki bu - tuhaf bir nedenden dolayı - artık demek . Bu durumda, dönüşüm yapmak kolaydır , burada ortalaması sıfırdır.

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176

@ user3697176 Yazdıklarınız doğru değil. Az önce nedenini açıklamak için bir cevap gönderdim.

— Alecos Papadopoulos

Varsayım 1 karşılanmazsa, yine de popülasyon kovaryansını tahmin etmek için OLS'yi kullanamaz mıyız (doğrusal bir ilişki olmadığını bilmemize rağmen)?

— en fazla

Başka bir sorudaki bir yorum , regresyon belirtimine sabit bir terimin dahil edilmesiyle düzeltilebileceğini savunarak, koşulunun önemi hakkında şüpheler ve " msgstr "kolayca yoksayılsın". $E(\mathbf u \mid \mathbf X) =0$

Bu öyle değil. Regresyona sabit bir terimin dahil edilmesi, eğer bu koşullu ortalamanın regresörlerin bir fonksiyonu değil zaten sabit olduğunu varsayarsak , muhtemelen sıfır terimi olmayan koşullu ortalamayı emer . Bu , sabit bir terim içerip içermediğimizden bağımsız olarak yapılması gereken hayati varsayımdır :

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Bu tutarsa, o zaman sıfır olmayan ortalama biz sadece sabit terim dahil ederek çözebilir bir sıkıntı olur.

Ancak bu geçerli değilse (yani koşullu ortalama sıfır veya sıfır olmayan bir sabit değilse ), sabit terimin dahil edilmesi sorunu çözmez: bu durumda "emeceği" bir büyüklüktür bu, spesifik numuneye ve regresörlerin gerçekleşmelerine bağlıdır. Gerçekte, bir dizi serisine eklenmiş bilinmeyen katsayı, hata teriminin sabit olmayan koşullu ortalaması yoluyla regresörlere bağlı olarak gerçekten sabit değil, değişkendir.

Bu ne anlama geliyor? Basitleştirmek için, en basit durumda varsayalım, nerede ( endeksler gözlemler) ama bu . Hata terimi onun eş olanlar dışındaki Regresör gelen ortalama bağımsız olduğunu Yani o (içinde biz do not olanları bir dizi ekleyin). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Regresyonu, sabit bir terimin (bir dizi dizinin bir regresörü) dahil edilmesiyle belirlediğimizi varsayalım.

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

ve sıkıştırma gösterimi

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

burada , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

O zaman OLS tahmincisi

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

İçin sapmasızlık ihtiyacımız . Fakat $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

sabit bir fonksiyon olmadığında incelendiğimiz için tüm için sıfır olamaz. Yani $i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

Eğer , o zaman içerse bile, bir sabit terim regresyonda, OLS tahmincisi tarafsız olmayacaktır, yani Gauss-Markov'un verimlilik üzerindeki sonucu kaybolur $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ .

Ayrıca, error hata terimi her için farklı bir ortalamaya ve dolayısıyla farklı bir varyansa sahiptir (yani şartlı olarak heteroskedastiktir). Dolayısıyla, regresörlere koşullu dağılımı gözlemler arasında farklılık gösterir . $\mathbf ε$ $i$ $i$

Ama hata terimi bile bu araçlar normaldir varsayılır, örnekleme hatası sonra dağıtım normal olacağını ama değil sıfır ortalama in mormal ve bilinmeyen önyargı ile. Ve varyans farklı olacaktır. Yani $u_i$ $\hat {\mathbf γ} - \mathbf γ$

Eğer , o zaman içerse bile, bir sabit terim regresyonda, Hipotez testi artık geçerli değildir. $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

Başka bir deyişle, "sonlu örneklem" özelliklerinin hepsi gitmiştir.

Sadece ek varsayımlar yapmak zorunda kalacağımız asimptotik olarak geçerli çıkarımlara başvurma seçeneğimiz kaldı .

Yani basitçe, Sıkı Dışsallık olamaz "kolayca göz ardı" olmak .

— Alecos Papadopoulos
kaynak

Bunu anladığımdan tam olarak emin değilim. Ortalamanın, homoscedastisite varsayımına eşdeğer regresörlerin bir fonksiyonu olmadığı varsayılmıyor mu?

— Batman

@Batman Yazımın hangi kısmına atıfta bulunuyorsunuz?

— Alecos Papadopoulos

"Regresyona sabit bir terimin dahil edilmesi, bu koşullu ortalamanın zaten regresörlerin bir fonksiyonu değil sabit olduğunu varsayarsak, hata teriminin sıfırdan farklı koşullu ortalamasını absorbe edecektir. Bu çok önemli bir varsayımdır. sabit bir terim içerip içermediğimizden bağımsız olarak yapılması gerekir. " Koşullu ortalamanın, homoscedastisite varsaydığımızda varsaydığımız şeyin tam olarak regresörlerin bir fonksiyonu olmadığını varsaymıyor muyuz?

— Batman

@ Batman Homoskedasticity varyans hakkında bir varsayımdır. Ortalama bağımsızlık varsayımı, de sabit olduğu anlamına gelmez , bu da koşullu homoskedastisite için de gereklidir. Aslında, ortalama bağımsızlık,koşullu heteroskedastisite ile birlikte, standart bir model varyantıdır.

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$

— Alecos Papadopoulos