Doğrusal regresyon: OLS ve MLE kimliğini veren normal olmayan herhangi bir dağılım?

13

Bu soru, buradaki yorumlardaki uzun tartışmadan esinlenmiştir: Doğrusal regresyon normal dağılımı nasıl kullanır?

Her zamanki doğrusal regresyon modelinde, burada sadece tek bir öngörücü ile yazılmış basitlik için: burada bilinen sabitler ve sıfır ortalama bağımsız hata terimleridir. Ayrıca hatalar için normal dağılımlar varsa, olağan en küçük kareler tahmin edicileri ve maksimum olabilirlik tahmin edicileri aynıdır.

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

Öyleyse benim kolay sorum: mle'nin sıradan en az squaeres tahmincisi ile aynı olması için hata terimleri için başka dağıtım var mı? Bir çıkarımın gösterilmesi kolaydır, diğeri öyle değildir.

— kjetil b halvorsen
kaynak

1

(+1) Sıfıra yakın bir dağıtım olması gerekecek ve simetrik bir dağıtım olsaydı yardımcı olacak gibi görünüyor. Akla gelen bazı adaylar, t- veya Laplace dağılımı gibi, MLE olduğu gibi, sadece sabit durumda bile, kapalı formda mevcut değil veya medyan tarafından verilen hile gibi görünmüyor.

— Christoph Hanck

ayrıca bkz. stats.stackexchange.com/questions/99014/… , sadece bulmak için çok şey var gibi görünüyor

— Christoph Hanck

Eminim cevap hayırdır. Bununla birlikte, titiz bir kanıt yazmak zor olabilir.

— Gordon Smyth

11

Maksimum olabilirlik tahmininde,

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

son ilişki, regresyon denkleminin doğrusallık yapısını dikkate alarak.

Karşılaştırma olarak, OLS tahmincisi

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Eğim katsayıları için özdeş cebirsel ifadeler elde etmek için, hata terimi için bir yoğunluğa sahip olmamız gerekir.

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Bunlar formunun diferansiyel denklemleridir $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Bu çekirdeğe sahip olan ve uygun bir alan üzerinde birliğe entegre olan herhangi bir fonksiyon, eğim katsayıları için MLE ve OLS'yi aynı hale getirecektir. Yani arıyoruz

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

$g$

Kesinlikle. Ancak, göz önünde bulundurulması gereken bir şey daha var: biri üssünde artı işaretini kullanırsa ve örneğin sıfır civarında simetrik bir destek varsa , ortada benzersiz bir minimum ve iki yerel maksimuma sahip bir yoğunluk elde edilir desteğin sınırları.

— Alecos Papadopoulos
kaynak

Harika yanıt (+1), ancak işlevde artı işareti kullanılıyorsa, yoğunluk bile var mı? Öyleyse, fonksiyon sonsuz bir integrale sahiptir ve bu nedenle bir yoğunluk fonksiyonuna normalleştirilemez. Bu durumda, sadece normal dağılımla bırakılırız.

— Ben - Monica

1

(a, b)

$(a,b)$

Bu doğru - bunu varsayıyordum.

— Ben - Monica

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

$\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— Xi'an
kaynak

1

Bu benim için doğru görünmüyor. Farklı bir küresel simetrik dağılım kullanırsanız, bu, normun kareden farklı bir işlevinin en aza indirilmesine yol açmaz mı (böylece en küçük kareler tahmini değildir)?

— Ben - Monica

1

@ Xi'an bir cevapla güncellenene kadar bu soruyu bilmiyordum. Daha genel bir çözüm var. Bazı parametrelerle üstel aile dağılımları, Bregman ıraksamalarına verimi sabitledi. Bu dağılımlar için ortalama minimizatördür. OLS minimizer da ortalamadır. Bu nedenle, tüm bu dağılımlar için, lineer fonksiyonlar ortalama parametreye bağlandığında çakışmalıdırlar.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Çağdaş Özgenç
kaynak