Koşullu ortalama bağımsızlık, OLS tahmincisinin tarafsızlığını ve tutarlılığını ima eder

Aşağıdaki çoklu regresyon modelini düşünün:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Burada , bir sütun vektörüdür; bir matrisi; a sütun vektörü; a matrisi; a sütun vektörü; ve , hata terimi, bir sütun vektörü. $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

SORU

Öğretim görevlim, Ekonometriye Giriş ders kitabı , 3. baskı. James H. Stock ve Mark W. Watson, s. 281 ve Ekonometri: Onur Sınavı İnceleme Oturumu (PDF) , s. 7, bana şunu ifade etti.

Koşullu ortalama bağımsızlık olarak adlandırılan şeyi varsayarsak , tanım gereği $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
ve en küçük kareler varsayımı koşullu ortalama sıfır varsayımı dışında tatmin edildiyse (yani olduğunu varsayıyoruz ) (bkz. 1 Aşağıda -3), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
daha sonra, deki OLS tahmincisi , bu daha zayıf varsayımlar altında tarafsız ve tutarlı kalır . $\hat{\beta}$ $\beta$ $(1)$

Bu teklifi nasıl kanıtlarım? Yani, 1 ve 2 yukarıdaki OLS tahmin olduğunu ima bize yönelik tarafsız ve tutarlı tahmin edicisi verir ? Bu öneriyi kanıtlayan bir araştırma makalesi var mı? $\beta$ $\beta$

YORUM YAP

En basit durum, doğrusal regresyon modeli ve OLS tahmini / , her için ise tarafsızdır .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

Varsayarak Yansızlık BELGESİ VE BİRLİKTE normal olarak dağılan $U_i$ $Z_i$

, ardından ve tanımlayınDolayısıyla şu şekilde yazılabilir olabilir tarafından daha sonra bu, aşağıdaki Şimdi, ve birlikte normal olarak dağıtıldığından, normal dağılımlar teorisi, bkz. Çok değişkenli normal dağılımın koşullu dağılımları türetilmesi diyor ki (aslında, biz ortak normalliği ama sadece bu kimliği varsaymak gerekmez) bazıları için tarafından vektör $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Şimdi haline gelir modeli için hata terimi olarak tatmin tüm en küçük kareler varsayımı, tatmin koşullu varsayımı ortalama sıfır. Bu durum, OLS tahmin ima ve biz izin halinde için tarafsız olacak ve izin olmak ile oluşan matris ve , daha sonra OLS tahmin olarak aşağıdaki göz önünde bulundurularak verilir: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

ve böylece ; burada ikinci satır . Bu nedenle , model için yapılan OLS tahmini , model için verilenle birlikte OLS tahmini olduğundan, koşullu olarak tarafsız bir tahminidir . Şimdi, toplam beklenti yasası ile ve dolayısıyla için tarafsız bir tahmin .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

( , böylece katsayı mutlaka tarafsız değildir.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

Bununla birlikte, yukarıdaki özel durum ve normal olarak müştereken varsayar, bu varsayım olmadan teklifi nasıl kanıtlayabilirim? $U_i$ $Z_i$

her zaman elbette yeterli olduğunu varsayarsak çapraz başvuru ), ancak sonucu sadece ve Koşullu Ortalama Sıfır varsayımı ( aşağıya bakınız). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

SIKLIĞA İLİŞKİN

Bir de tahmin olduğunu görebilirsiniz düşünüyorum için tutarlı regresyon modelinde olduğu fark ile varsayımı dahil tüm en küçük kareler varsayımı yerine getirdiğinin (yeni) hata terimi tatmin Koşullu Ortalama Sıfır varsayımı (bkz. Ve aşağıya bakınız). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Daha sonra, Ekonometriye Giriş, 3. Baskı , bir dizi alıştırmalara dayanan bir tutarlılık kanıtı ekleyebilirim . James H. Stock ve Mark W. Watson, ch. 18. Ancak, bu kanıt oldukça uzundur. Ancak buradaki nokta, alıştırmalarda sağlanan kanıtın olduğunu varsaydığından , varsayımın gerçekten yeterli olup olmadığını hala merak ediyorum . $(**)$ $(2)$

YALNIZ 1

In Ekonometri, 3rd ed giriş. James H. Stock ve Mark W. Watson tarafından, s. 300'de, varsayım doğrusal olmayan regresyon teorisi kullanılarak "gevşetilebilir". Bununla ne kastediyorlar veya kastetebilirler? $(**)$

EN AZ KARE VARSAYIMLARI

Burada , kanıtlamaya çalıştığımız öneri olan durumlarda izin verdiği için koşullu ortalama sıfır varsayımını hariç . Bunlar, örneğin, , ile korele olduğu durumlardır . Krş Ekonometri: Onur Sınavı İnceleme Oturumu (PDF) , s. 7. $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

En küçük kareler varsayımı aşağıdaki gibidir.

Ortak dağılımları , burada, iid olan : inci elemanı ve ve olan inci satır vektörleri: ve . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Büyük aykırı her biri için, yani olası değildir , ve nerede, sonlu dördüncü anlar var olduğu içinde inci eleman: . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ tam sütun sırasına sahiptir (yani, mükemmel bir çoklu doğrusallık yoktur; bu ters çevrilebilirliğini sağlar ). $W^TW$
( Genişletilmiş en küçük kareler varsayımları : Bunun gerekli olduğunu düşünmüyorum (ve bana öyle olmadığı söylenmişti), aynı zamanda homoskedasticity'yi de alabiliriz, yani Her için ve verilen koşullu dağılımı her için normaldir (yani, normal hatalarımız vardır.)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

TERMİNOLOJİ HAKKINDA NOT

İçinde , Koşullu ortalama sıfır varsayımı varsayımıdır . Ancak Koşullu Ortalama Bağımsızlık varsayımı, olduğu varsayımıdır . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Bu terminoloji, örneğin Ekonometriye Giriş, 3. Baskı. James H. Stock ve Mark W. Watson, s. 281; ve Kesit ve Panel Verilerinin Ekonometrik Analizi, 1. Baskı. yazan Jeffrey M. Wooldridge, s. 607. Benzer tartışmalar için ayrıca bkz. Koşullu Bağımsızlık Kısıtlamaları: Test ve Tahmin .

İLAVE DÜŞÜNCELER VE YANIT 2

James H. Stock ve Mark W. Watson'ın aksine, koşullu ortalama bağımsızlığın tarafsız bir OLS tahminini sağlamadığını düşünüyorum . Bunun nedeni, gibi doğrusal olmayan biçimler alabilir bir polinomdur ya da henüz tahmin edilecek bazı parametredir (burada kullanıyorum matris üstel ) ve daha sonra, sanırım, doğrusal olmayan regresyon önyargılı tahminler hangi genellikle yaprakları bize, uygulanmak zorundadır. Ayrıca, (1) OLS tahmini, OLS tahmini ile bile çakışmayabilir $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ içinde eğer bazı doğrusal olmayan biçimler alır. (Psikolojik olarak Stock & Watson tarafından kitapta yapılan ifadenin gerçek olamayacak kadar iyi olduğunu düşünüyorum.) $(4)$ $E(U|Z)$

Dolayısıyla, ek bir soru koşullu ortalama bağımsızlığın tarafsız OLS tahminine yol açtığına dair bir karşı örnek olup olmadığıdır.

ARTIŞ 3

Gelen Çoğunlukla zararsız Ekonometrisi Angrist ve Pischke alt 3.3, s savunur. 68-91, koşullu bağımsızlık (CI), yani verilen bağımsız olması (bu, yukarıda verilen koşullu ortalama bağımsızlık varsayımından daha güçlü bir koşul, sanırım, yukarıda verilen koşullu ortalama bağımsızlık varsayımı) arasında sıkı bir bağlantı olduğunu etkisi ile ve katsayıları gerilemesinde ile ve CI altında en küçük kareler ile katsayısı tahmin etmektedir motive eder in $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ CI tutmadığından daha az önyargılıdır (diğer her şey eşittir).

Şimdi, bu fikir bir şekilde ana sorumu cevaplamak için kullanılabilir mi?

— Elias
kaynak

@ Xi'an Ne demek istiyorsun? Bu benim kitabında verilen şartlı ortalama bağımsızlık tanımı şöyledir: Eğer biz doğrusal regresyonda sahip , o zaman demek koşullu ortalama bağımsızlığımız var. Yazma şeklimin daha genel olduğunu düşündüm.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an Bu durumda "şartlı bağımsız $ ce" yi nasıl tanımlarsınız? Düşündüğüm gibi, "koşullu bağımsızlık", "koşullu ortalama bağımsızlık" tan farklı bir kavramdır. Kavramsal olarak bağlantılı olabilir veya olmayabilir.

— Elias

@ Xi'an Kavramları anlamanın yolu budur: Koşullu bağımsızlık sadece , ancak koşullu ortalama bağımsızlık .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias

Xi'an yorumu nerede?

— Michael R. Chernick

@MichaelChernick İlk yorumu. Sanırım onu silmiş olmalı. Hatırladığım gibi, koşullu bağımsızlık anlamına gelmediğini söyledi ve cevapladım.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias

Yanıtlar:

Bu yanlış. Gözlemlediğiniz gibi, Stock ve Watson'ı yakından okursanız, OLS'nin koşullu ortalama bağımsızlık altında için tarafsız olduğu iddiasını gerçekten onaylamazlar . ise OLS'un için tarafsız olduğu iddiasını daha fazla kabul ederler . Sonra, doğrusal olmayan en küçük kareler hakkında belirsiz bir şey söylüyorlar. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Denkleminiz (4), iddianın yanlış olduğunu görmek için ihtiyacınız olanı içerir. değişkenini atlarken Denklem (4) 'ün OLS ile hesaplanması atlanan değişkenlerin sapmasına yol açar. Muhtemelen hatırladığınız gibi, atlanan değişkenlerden önyargı terimi (atlanan değişken 1 katsayısına sahip olduğunda), aşağıdaki yardımcı regresyon katsayıları tarafından kontrol edilir: orijinal regresyon yanlılık olan bu regresyondan ve üzerindeki bastırma isimli . Eğer ile ilişkilidir kontrol edildikten sonra, doğrusal için $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , ardından sıfırdan farklı olur ve OLS katsayısı yanlı olacaktır.

α_{1}

$\alpha_1$

İşte noktayı kanıtlamak için bir örnek:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Formül bakıldığında , açıktır yardımcı regresyon bakıldığında, açık (tesadüfi seçimi yoksa ) sıfır olmayacaktır. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

İşte Rnoktayı gösteren çok basit bir örnek :

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

İlk regresyon size bir katsayı verdiği Bildirimi gerçeğini yansıtan 0.63 tarafından bastırıldığı "bazılarına sahiptir olduğu gibi onun içinde" . Ayrıca, yardımcı regresyonun yaklaşık 0.63'lük bir yanlılık tahmini verdiğine dikkat edin. $x$ $x$ $z^2$ $E(u|z)$

Peki, Stock ve Watson (ve öğretim görevliniz) ne hakkında konuşuyor? Denkleminize geri dönelim (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

Atlanan değişkenin sadece bir fonksiyonu olması önemli bir gerçektir . Görünüşe göre gerçekten iyi kontrol edebilirsek , , ile ilişkili olsa bile, sapmayı regresyondan temizlemek için yeterli olacaktır . $z$ $z$ $x$ $u$

Aşağıdaki denklemi işlevini tahmin etmek için parametrik olmayan bir yöntem kullanarak veya doğru fonksiyonel form kullanarak tahmin ettiğimizi varsayalım . Doğru fonksiyonel formu kullanıyor olsaydık, bunu doğrusal olmayan en küçük karelerle (NLS hakkındaki şifreli yorumu açıklayarak) tahmin ederdik: Artık bize atlanan değişken bir sorun olmadığı için için tutarlı bir tahminci verebiliriz . $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

Alternatif olarak, yeterli veriye sahip olsaydık, kontrolünde `` sonuna kadar '' gidebiliriz . Verilerin bir alt kümesine bakabiliriz; burada ve sadece regresyonu çalıştırabiliriz: Bu, için aşağıdakiler hariç tarafsız, tutarlı tahminciler verir tabii ki tarafından kirletilecek olan engel . Açıkçası, bu regresyonu sadece olan veri noktalarında çalıştırarak (farklı) tutarlı, tarafsız bir tahminci de alabilirsiniz . Ve diğeri olan noktalar için . Vb O zaman, bir şekilde hep birlikte ortalamayı alarak, büyük bir tahminci yapabileceğiniz bir sürü iyi tahmin ediciniz olur. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

Bu ikinci düşünce, eşleşen tahmin ediciler için ilham kaynağıdır. Anlamıyla sadece regresyon çalıştırmak için genellikle yeterli veri olmadığı için ya da nokta çiftleri için aynıdır, bunun yerine noktaları için regresyon çalıştırmak `` yeterince yakın 'aynıdır etmektir. $z=1$ $z$ $z$

— fatura
kaynak

Bu sonucu kanıtlayamazsınız çünkü genel ifadesinde doğru değildir. Denkleminizdeki modelle başlayın. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

burada büyük parantez gerçek hata terimini belirtir (henüz koşullu beklenti üzerinde varsayım yok). Simetrik, idempotent olan ve ayrıca olan tortu oluşturucu veya yok edici matrisini . $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

"Ayrılmış regresyon sonuçları" ile

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Sağdaki ilk terim zaten sıfır. Beklenen değeri baştan alarak ve sonra kule özelliğini koşullu beklenti için uygulayarak, üçüncü terim de sıfır olacaktır (koşullu ortalama bağımsızlığını daha zayıf formunda kullanarak). Ama bu daha zayıf varsayımın bizi götürdüğü kadar, çünkü

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

İçin sapmasızlık biz sağ taraf sıfır olmasını istiyorum. Bu tutacaktır bir doğrusal fonksiyonudur (siz de bulduğumuz gibi) tekrar sıfır elde edecek çünkü . Ancak aksi takdirde, beklenen değerin tamamının doğrudan olduğunu varsaymak tamamen keyfi bir durumdur. Ortak normalliği kabul etmek zorunda değiliz, ancak bu koşullu beklentinin doğrusallığını varsaymalıyız (diğer dağıtımlar da bu özelliğe sahiptir). Sapmasızlık ait için gerekli varsayımı Yani olduğunu $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

ve tüm regresörlerin katı dışsallığına kıyasla gerçekten "zayıf" olup olmadığını söyleyemem (çünkü katı dışsallık, tüm dağıtım varsayımları için ortalama bağımsızlık olarak belirtildiğinden , burada ve takip). $U$ $Z$

Bu doğrusallık varsayımı altında da tutarlı olacağını göstermek zor değildir . $\hat \beta_{OLS}$

— Alecos Papadopoulos
kaynak

Güzel cevap! Bunu uzun zaman önce okudum ve daha sonra düşüneceğimi düşündüm. Bazı sorularım var: Bölümlenmiş regresyon sonuçlarınızı nasıl kanıtlayabilirsiniz? En azından bir referansı takdir ediyorum. Ayrıca, ve arasındaki fark ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— Elias

@Monir ve sadece bir yazım hatasıdır . Bölümlenmiş regresyon sonuçları (çok eski ve standart olan) için, sıradan en küçük kareler tahmininin cebirsel yönünü tartıştığı bölümde, örneğin Greene tarafından Ekonometri ders kitabına bakınız. Kanıtı içerir.

Z

$Z$

z

$z$

— Alecos Papadopoulos