Sadece doğrusal regresyonda doğrusallık varsayımı bir tanım mı

Doğrusal regresyonu gözden geçiriyorum.

Greene'nin ders kitabı şöyle diyor:

Şimdi, elbette, doğrusal regresyon modeli üzerinde gibi başka varsayımlar olacaktır $E(\epsilon|X)=0$ . Bu varsayım (aslında tanımlayan $\epsilon$ ) doğrusallık varsayımı ile birleştiğinde , yapıyı modelin üzerine yerleştirir.

Bununla birlikte, doğrusallık varsayımı tek başına modelimize herhangi bir yapı , çünkü $\epsilon$ tamamen keyfi olabilir. Herhangi değişkenler için $X, y$ olursa olsun, ne olursa olsun ikisi arasında ilişki biz tanımlayabilir $\epsilon$ doğrusallık varsayımı tutar, öyle ki. Bu nedenle, doğrusallık "varsayım" gerçekten çağrılmalıdır tanımı içinde $\epsilon$ yerine bir varsayım.

Bu yüzden merak ediyorum :

Greene özensiz mi? Aslında şunu yazmış olmalı: ? Bu, aslında yapıya model koyan bir "doğrusallık varsayımı" dır. $E(y|X)=X\beta$
Yoksa doğrusallık varsayımı modeline yapıyı koymak olmadığını kabul etmek zorunda ama sadece bir tanımlamaktadır do diğer varsayımlar arasında bu tanımı kullanacağız, modeline yapıyı koymak için? $\epsilon$ $\epsilon$

Düzenleme : diğer varsayımlar etrafında bazı karışıklık var gibi görünüyor, bana burada varsayımların tam set eklemek:

Bu Greene, Ekonometrik Analiz, 7. baskı. s. 16.

— user56834
kaynak

Bunlar algısal gözlemlerdir (+1). Bununla birlikte, tüm adaletlerde, yazarların çoğunun (hepsi olmasa da),

gibi bir ilave hatanın anlamının , dağılımının

merkezli olduğu varsayımını içerdiği bir çerçeve içinde çalıştığına inanıyorum .

ϵ

$\epsilon$

0

$0$

— whuber

@whuber, tüm varsayımları ekledim. A3'e bakın. A3, 0'da ortalandığını açıkça belirtiyor, bu da Greene'nin A1'de bunu kabul etmediğini ima ediyor, bu da A1'in

tanımlaması dışında herhangi bir mantıksal içeriğe sahip olup olmadığını sorgulamamı sağlıyor .

ϵ

$\epsilon$

— user56834

Varsayımlar listesinin amaçlanan anlamı, ayrı ayrı değil toplu olarak tutulmasıdır . Bu herhangi bir "özensizlik" sergilemez.

— whuber

@AdamO, "doğru" kelimesinin benim için kesin bir anlamı yok gibi görünüyor. Bunu daha iyi anlamaya çalışıyorum. Yalnızca şu anda moest kesin formülasyon bu varsayım 1 "tanımı çağrılmalıdır demek ki geliyor bana

" ve sonra her şey mantıklı. Ya da aslında bir şey eksik, bu yüzden bu soruyu sordum. Ne yazık ki şu ana kadar bu soruya doğrudan bir cevap görmedim

ϵ

$\epsilon$

— user56834

@ Programmer2134, kesin olmayan bir soru sorduğunuz için kesin olmayan cevaplar alıyorsunuz. Söylediğiniz gibi “yapıya bir model koymaz”. Yanlış ortalama model (

) kullanılırsa, yanıt

olarak karakterize edilir . ve artıklar yanlılık ve hatanın toplamı olarak alınır.

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— AdamO

Yanıtlar:

Greene özensiz mi? Aslında şunu yazmış olmalı: ? Bu, aslında yapıya model koyan bir "doğrusallık varsayımı" dır. $E(y|X)=X\beta$

Bir anlamda, evet ve hayır. Bir yandan, evet, mevcut modern nedensellik araştırması göz önüne alındığında , özensizdir, ancak tıpkı çoğu ekonometri ders kitabı gibi, nedensel ve gözlemsel miktarları net bir şekilde ayırmadığı için, bu soru gibi ortak kafa karışıklıklarına yol açarlar. Ancak, diğer yandan, hayır, bu varsayım, aslında varsaymaktan farklı olduğu anlamında özensiz değildir . $E(y|X)=X\beta$

Burada önemli nokta, bir koşullu beklenti arasındaki fark, , ve yapısal ve (nedensel) denklemi , hem de yapısal (nedensel) bir beklenti $E(y|X)$ $y$ $E[Y|do(X)]$ . Greene'deki doğrusallık varsayımı yapısal bir varsayımdır. Basit bir örnek görelim. Yapısal denklemi düşünün:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

Şimdi . Sonra: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

burada . Dahası, yazabiliriz ve sahip olurduk . Bu, doğru bir şekilde belirlenmiş doğrusal koşullu beklentimiz olabileceğini göstermektedir tanım gereği dikey bir rahatsızlığa sahip olacak, ancak yapısal denklem doğrusal olmayacaktır. $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

Yoksa doğrusallık varsayımı modeline yapıyı koymak olmadığını kabul etmek zorunda ama sadece bir tanımlamaktadır do diğer varsayımlar arasında bu tanımı kullanacağız, modeline yapıyı koymak için? $\epsilon$ $\epsilon$

Doğrusallık varsayımı bir tanımlar , yani tanım gereği, , deneysel olarak ayarladığımızda beklentisinden sapmalarını temsil eder ( bkz. İnci bölüm 5.4 ). Diğer varsayımlar ya yapısal parametrelerin tanımlanması için kullanılır (örneğin, eksojenitesi varsayımı. $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ yapısal beklentiyi belirlemenizi sağlar koşullu beklenti ile ) veya tahmin edicilerin istatistiksel özelliklerinin türetilmesi için (örneğin, homoskedastisite varsayımı OLS'yi MAVİ olarak garanti eder, normallik varsayımı, çıkarım için "sonlu örnek" sonuçları elde etmeyi kolaylaştırır). $E[Y|do(X)]$ $E[Y|X]$

Bununla birlikte, doğrusallık varsayımı tek başına modelimize herhangi bir yapı , çünkü tamamen keyfi olabilir. Herhangi değişkenler için olursa olsun, ne olursa olsun ikisi arasında ilişki biz tanımlayabilir doğrusallık varsayımı tutar, öyle ki. $\epsilon$ $X, y$ $\epsilon$

Buradaki ifadeniz genel olarak nedensel çıkarımın ana sorununa giriyor! Yukarıdaki basit örnekte gösterildiği gibi, koşullu beklenti yapabilir yapısal bozuklukları uydurmak verilen doğrusal. Genel olarak, birkaç farklı yapısal (nedensel) model aynı gözlemsel dağılıma sahip olabilir , gözlemlenen ilişki olmadan nedensel olabilirsiniz. Bu nedenle, bu anlamda, biz daha fazla varsayımlara ihtiyaç --- doğru problem haline "daha yapıya" koymak ve yapısal parametreler tespit etmek amacıyla gözlemsel verilerle. $y$ $x$ $\epsilon$ $\beta$

Kenar notu

Çoğu ekonometri ders kitabının, regresyon ve yapısal denklemler ve anlamları arasındaki ayrım söz konusu olduğunda kafa karıştırıcı olduğunu belirtmek gerekir. Bu son zamanlarda belgelendi. Sen bir kağıt kontrol edebilirsiniz Chen ve Pearl burada yanı sıra Chris Auld tarafından genişletilmiş anket . Greene incelenen kitaplardan biridir.

— Carlos Cinelli
kaynak

Teşekkürler, aradığım cevap bu. Öyleyse, doğrusallık varsayımının yapısal bir varsayım olduğunu söylediğinizde, bu tam olarak

arasındaki nedensel ilişki hakkında ne gerektirir ? Hala doğru bir nedensel ilişki olabilir mi? Sadece

ile

arasındaki doğrudan nedensel ilişkinin doğrusal olması değil mi? Hala yüksek dereceden doğrusal olmayan nedensel etkisi olabilir

üzerinde

ile

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

— user56834

Programmer2134 @ bu ekonometrisi ders kitapları özensiz bir alan denklem yapısal ise, o zaman farkı olarak yapısal bozukluğu işlevsel bir tanımı olabilir, vb doğrudan küçük referans / dolaylı etkileri, arabuluculuk bulacaksınız var

beklenen ile

nedensel etkisi , yani

. Dolayısıyla bu anlamda yapısal

tarafından "neden

" . Ancak, bu bize

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$

ilişkisi , çünkü ortak nedenleri olabilir.

ϵ

$\epsilon$

X

$X$

— Carlos Cinelli

@ Programmer2134 Bu arada, endişeleriniz doğru yolda, bence nedensel çıkarım konusunda Pearl's Primer Greene'nin ilginç bir arkadaşı olabilir!

— Carlos Cinelli

Bu arada, Pearl tarafından bir süre önce "Nedensellik: Modeller, Akıl Yürütme ve Çıkarım" okumaya başladım. Çok ilginç olduğunu düşündüm, ama benim için biraz soyuttu. Bölüm 2'nin ötesine geçmedim. Sizce "nedensel çıkarım üzerine primer" daha uygun olur mu? (yani kavramları daha sezgisel olarak tanıtmak).

— user56834

@ColorStatistics, tahmin için regresyon kullanabilirsiniz, ancak, sonra dışsallık varsayımı hiçbir rol oynamaz. Bu, Greene'nin neden

doğrusal olduğu varsayımını neden yazmadığını sorgulayarak OP'nin kendisinden şüphelenmeye başladı .

E (Y | x)

$E(Y|x)$

— Carlos Cinelli

OP ve Matthew Drury tarafından yapılan yorumların ardından düzenlenmiştir

Bu soruyu cevaplamak için Greene ve OP'nin aşağıdaki doğrusallık tanımına sahip olduğunu varsayıyorum: Doğrusallık, bu öngörücüdeki her bir birim artış için sonucun, olası öngörücü değerleri aralığında nerede olursa olsun beta ( ) tarafından artırıldığı anlamına gelir. bu bir birimlik artış meydana gelir. Yani fonksiyon olan ve değildir , örneğin ya da $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$ . Ayrıca, bu varsayım betalara odaklanmıştır ve bu nedenle yordayıcılar (diğer bir deyişle bağımsız değişkenler) için geçerlidir.

modeline bağlı kalıntıların beklentisi başka bir şeydir. Evet, doğrusal regresyonun arkasındaki matematiğin tanımladığı / tanımladığı doğrudur . Bununla birlikte, bu genellikle için takılmış / tahmin edilen tüm değerler aralığında ayarlanır . Eğer doğrusal öngörücü ve tahmin edilen değerin belirli bölümlerine bakarsak , fark edebilirsiniz heteroskedastisiyi (varyasyon alanları başka bir yerde daha büyüktür) veya alanlar nerede $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ . Bununnedeni 'ler ve arasında doğrusal olmayan bir ilişkiolabilir, ancak heteroscedastisite veya olmasının tek nedeni bu değildir(bkz. Örneğin eksik tahminci yanlılığı). $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$

Yorumlardan: OP, epsilonun keyfi olduğu ve XX'nin herhangi bir işlevi olabileceği göz önüne alındığında, doğrusallık varsayımının modeli hiçbir şekilde kısıtlamadığını belirtir. Sanırım bu, doğrusallık varsayımının ihlal edilip edilmediğine bakılmaksızın, herhangi bir veriye uyabilecek doğrusal regresyonların netleştiğini düşünüyorum. Burada spekülasyon yapıyorum, ancak Greene'nin formülünde hatayı tutmayı seçmesinin nedeni olabilir - daha sonra kaydetme - doğrusallığı varsayarsak, (ve beklenen değil) ) göre tanımlanabilir, ancak bazı hataları korur $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ values hangi değerleri alsın. Sadece daha sonra alaka düzeyini belirtmeye devam edeceğini umuyorum . $ϵ$ $E(ϵ|X)=0$

Kısacası (kuşkusuz, Greene'nin kitabını tam olarak okumadan ve tartışmasını kontrol etmeden):

Greene muhtemelen betaların tüm prediktör aralığı için sabit olduğunu ifade eder (beta'ya veya denklemlerinde vurgu yapılmalıdır ; $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
Doğrusallık varsayımı modele bazı yapılar koymaktadır. Bununla birlikte, modellemeden önce spline gibi dönüşümlerin veya eklemelerin, lineer olmayan ilişkilerin lineer regresyon çerçevesine uygun hale gelebileceğini unutmayın.

— IWS
kaynak

Bu yardımcı olur, ancak hiçbir şekilde sürekliliğe itiraz gerekmez.

sadece

öngörücülere dayanıyorsa, makine aynı şekilde çalışır .

X

$X$

(0, 1)

$(0, 1)$

— Nick Cox

f (y)

$f(y)$

f (x)

$f(x)$

@NickCox Bu noktaları düzenledim.

— IWS

X

$X$

Buna katılmıyorum. Beklenti varsayımı normalite ile ilgisi yoktur, ancak yapısal doğrusallık varsayımını anlamlandırmak için kesinlikle gereklidir. Aksi takdirde, op tarafından belirtildiği gibi, doğrusallık varsayımı anlamsızdır. Bir normallik varsayımı oldukça farklı bir canavardır ve genellikle gereksizdir.

— Matthew Drury

-1

Yukarıdaki cevaptan biraz kafam karışmıştı, bu yüzden başka bir şans vereceğim. Bence soru aslında 'klasik' doğrusal regresyon değil, o kaynağın tarzı ile ilgili. Klasik regresyon kısmında:

Bununla birlikte, doğrusallık varsayımı tek başına modelimize herhangi bir yapı koymaz

$\epsilon$ $X$

$E(y|X)=Xβ$

İlk soruyu cevaplamak istemiyorum ama olağan doğrusal regresyon için ihtiyacınız olan varsayımları özetleyeyim:

$x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

$i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
$\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
$X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

Artık her zamanki yolu çalıştırabilir ve hesaplayabilirsiniz

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

$-\log f_{Y|X}(y|x)$ $\beta$

$\epsilon$

Şimdi farklı olasılıklar var:

Bu varsayımı kitapta yazmaz. O zaman bu kitapta bir hatadır.
$+ \epsilon$ $\epsilon$
- O alıntı yaptığınız kısma yakından yazar ve siz / biz sadece fark etmediniz (ayrıca bir olasılık :-))

$f_{Y|X}$ $\epsilon$

— Fabian Werner
kaynak

OLS'yi kullanmak için hataların normal olarak dağıtılması gerekmez.

— user56834

(-1) Hataların normal olarak dağıtılması gerekmez. Aslında, parametre tahmininin tarafsız olması ve testlerin tutarlı olması için bağımsız veya özdeş dağıtılmış olmalarına gerek yoktur. OLS'nin kesin bir test olması için çok daha katı spesifikasyonlarınız gereklidir.

— AdamO

ϵ_{i}

$\epsilon_i$

@FabianWerner benim model seçimim sorulacak soruya bağlı. Doğrusal regresyon, bir veri kümesindeki birinci dereceden bir eğilimi, X'deki bir farkı Y'deki bir farkla ilişkilendiren bir "temel kural" olarak tahmin eder. Hatalar normal olarak dağıtılmazsa, Lindeberg Feller CLT, CI'lerin ve PI'lerin yaklaşık olarak doğru olduğunu garanti eder. çok küçük örneklerde bile. Hatalar bağımsız değilse (ve bağımlılık yapısı bilinmiyorsa), SE'ler yanlış olsa da tahminler önyargılı değildir. Sandviç hata tahmini bu sorunu hafifletir.

— AdamO