En Küçük Kareler Varsayımları

Aşağıdaki doğrusal ilişkiyi varsayalım: ; burada bağımlı değişken, tek bir bağımsız değişken ve hata terimi.$Y_i = \beta_0 + \beta_1 X_i + u_i$$Y_i$$X_i$$u_i$

Stock & Watson'a (Ekonometriye Giriş; Bölüm 4 ) göre, üçüncü en küçük kareler varsayımı , ve dördüncü momentlerinin sıfır olmayan ve sonlu .$X_i$$u_i$$(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

Üç sorum var:

1. Bu varsayımın rolünü tam olarak anlamıyorum. Bu varsayım geçerli değilse OLS önyargılı ve tutarsız mıdır yoksa çıkarım için bu varsayımlara ihtiyacımız var mı?

2. Stock ve Watson, "bu varsayım, veya değerlerinin son derece büyük değerlerle bir gözlem yapma olasılığını sınırlamaktadır ." Ancak, sezgim bu varsayımın aşırı olduğudur. Büyük aykırı değerlere sahipsek (dördüncü anların büyük olacağı şekilde) sorun yaşıyor muyuz, ancak bu değerler hala sınırlıysa? Bu arada: Altta yatan tanım bir aykırı değer nedir?$X_i$$u_i$

3. Bunu şu şekilde yeniden formüle edebilir miyiz: " ve basıklığı sıfır ve sonlu değil mi?"$X_i$$u_i$

Siz yapıyorsunuz not EKK tahmincisi tutarlılık için 4 anları varsayımları gerekir, ancak yüksek anları ihtiyaç varsayımlar yapmak$x$ ve $\epsilon$ asimptotik normallik için ve asimptotik kovaryans matrisinin ne olduğunu sürekli olarak tahmin etmek.

Yine de bir anlamda, bu matematiksel, teknik bir nokta, pratik bir nokta değil. OLS'un sonlu örneklerde bir anlamda iyi çalışması için asimptotik tutarlılık veya normallik elde etmek için gereken minimum varsayımlardan daha fazlasını gerektirir.$n \rightarrow \infty$.

Tutarlılık için yeterli koşullar:

Regresyon denkleminiz varsa:

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

OLS tahmincisi $\hat{\mathbf{b}}$ şu şekilde yazılabilir:

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

İçin tutarlılık , bunu o Karlin ve Taylor Ergodik Teoremi gibi seri bağımlılığı, bir şey ile zaman serisi halinde, Büyük Sayılar Kolmogorov Yasasını uygulamak veya edebilmek gerekir:

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

Gereken diğer varsayımlar:

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ tam dereceli ve bu nedenle matris ters çevrilebilir.
• Regresörler önceden belirlenmiş veya tamamen dışsaldır, böylece $\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$.

Sonra $\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$ ve sen al $\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Eğer merkezi limit teoremi uygulamak istiyorsanız o zaman , örneğin yüksek anları varsayımlar, gerek$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ nerede $\mathbf{g_i} = \mathbf{x}_i \epsilon_i$. Merkezi limit teoremi size asimptotik normallik veren şeydir.$\hat{\mathbf{b}}$ve standart hatalar hakkında konuşmanıza olanak tanır. İkinci an için$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ var olmak için, $x$ ve $\epsilon$varolmaya. Bunu tartışmak istiyorsun$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$ nerede $\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$. Bunun çalışması için,$\Sigma$ sonlu olmak zorundadır.

Hayashi'nin Ekonometri'sinde güzel bir tartışma (bu gönderiyi motive eden) verildi . (4. anlar ve kovaryans matrisinin tahmini için s. 149'a bakınız.)

Tartışma:

4. andaki bu gereksinimler muhtemelen pratik bir noktadan ziyade teknik bir noktadır. Muhtemelen bunun günlük verilerde bir sorun olduğu patolojik dağılımlarla karşılaşmayacaksınız? OLS'un daha yaygın veya diğer varsayımlarının ters gitmesi.

Şüphesiz Stackexchange'te başka bir yerde cevaplanan farklı bir soru, sonlu örneklerin asimptotik sonuçlara yaklaşması için ne kadar büyük bir örneğe ihtiyaç duyduğunuzdur. Fantastik aykırı değerlerin yavaş yakınsamaya yol açtığı bir anlam var. Örneğin, gerçekten yüksek varyansa sahip lognormal dağılımın ortalamasını tahmin etmeyi deneyin. Numune ortalaması, popülasyon ortalamasının tutarlı ve tarafsız bir tahmincisidir, ancak çılgın aşırı basıklık vb.

Sonlu ile sonsuz arasındaki matematikte son derece önemli bir ayrım vardır. Günlük istatistiklerde karşılaştığınız sorun bu değil. Pratik problemler küçük ve büyük kategorilerde daha fazladır. Varyans, basıklık vb ... örneklem büyüklüğü göz önüne alındığında makul tahminler yapabilmem için yeterince küçük mü?

OLS tahmincisinin tutarlı olduğu ancak asemptolojik olarak normal olmadığı patolojik örnek

Düşünmek:

$$y_i = b x_i + \epsilon_i$$ Nerede $x_i \sim \mathcal{N}(0,1)$ fakat $\epsilon_i$ 2 serbestlik derecesine sahip bir t-dağılımından $\mathrm{Var}(\epsilon_i) = \infty$. OLS tahmini,$b$ ancak OLS tahmini için örnek dağılımı $\hat{b}$normal olarak dağıtılmaz. Aşağıda ampirik dağılım$\hat{b}$ 10000 gözlemli bir regresyonun 10000 simülasyonuna dayanmaktadır.

Dağılımı $\hat{b}$normal değil, kuyruklar çok ağır. Ama eğer serbestlik derecesini 3'e çıkarırsanız,$\epsilon_i$ mevcut ise merkezi sınır geçerlidir ve şunları elde edersiniz:

Oluşturmak için kod:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. Bu yeterli bir varsayımdır, ancak minimal bir varsayım değildir [1]. OLS bu koşullar altında önyargılı değildir, sadece tutarsızdır. OLS'un asimptotik özellikleri,$X$aşırı derecede büyük bir etkiye sahip olabilir ve / veya aşırı derecede büyük artıklar elde edebiliyorsanız. Lindeberg Feller merkezi limit teoreminin resmi bir sunumuyla karşılaşmamış olabilirsiniz, ancak dördüncü moment koşulları ile burada ele aldıkları şey budur ve Lindeberg koşulu bize temelde aynı şeyi söyler: aşırı etki noktası yok, aşırı yüksek kaldıraç yok puan [2].

2. İstatistiklerin bu teorik temelleri, pratik uygulamalar için kaynatıldığında çok fazla karışıklığa neden olur. Aykırı bir tanım yoktur, sezgisel bir kavramdır. Kabaca anlamak için, gözlemin yüksek bir kaldıraç noktası veya yüksek bir etki noktası olması gerekir, örneğin silme tanısının (DF beta) çok büyük olduğu veya öngörücülerdeki Mahalanobis mesafesinin büyük olduğu (tek değişkenli istatistiklerde) bu sadece Z puanı). Ancak pratik konulara dönelim: Eğer insanlar ve hane halkı gelirleri üzerinde rastgele bir araştırma yaparsam ve 100 kişiden biri, örneklediğim kişilerin 1'i milyoner, tahminim milyonerler nüfusun% 1'ini temsil ediyor . Bir biyoistatistik dersinde, bu ilkeler tartışılmakta ve herhangi bir tanı aracının esasen araştırıcı olduğu vurgulanmaktadır [3]."aykırı olanı dışlayan analiz inandığım analizdir" değil , "bir noktayı kaldırmak analizimi tamamen değiştirdi."

3. Basıklık, dağılımın ikinci anına bağlı olan ölçekli bir miktardır, ancak bu değerlerin sonlu, sıfır olmayan varyans varsayımı, bu özelliğin dördüncü anda tutulması imkansızdır, ancak ikincisinde değil. Yani evet, ama genel olarak basıklık ya da dördüncü anları hiç incelemedim. Onları pratik veya sezgisel bir önlem olarak görmüyorum. Bir kişinin parmaklarının ucuyla bir histogram veya saçılma grafiği üretildiği bu günde, bu grafikleri inceleyerek kalitatif grafik teşhis istatistiklerini kullanmak bizi uyandırır.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is- memnun

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html