Koşullu heteroskedastisiteli doğrusal modelde çıkarım

Ben, bağımsız değişken vektörleri gözlemlemek varsayalım ve ve bağımlı değişken . Formun bir modelini sığdırmak istiyorum: burada pozitif değerli iki farklılaştırılabilir bir işlevdir, bilinmeyen bir ölçeklendirme parametresidir ve sıfır ortalama, birim varyanslı Gauss rastgele değişkenidir ( ve ). Bu aslında Koenker'in heteroskedastisite testinin kurulumudur (en azından anladığım kadarıyla). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

ve gözlemim var ve ve değerini tahmin etmek istiyorum . Yine de birkaç sorunum var: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Tahmin problemini en küçük kareler gibi nasıl ortaya koyacağından emin değilim (iyi bilinen bir hile olduğunu varsayıyorum). İlk tahminim ancak ben Bunu sayısal olarak nasıl çözeceğinizden emin değilim (belki de yinelemeli bir yarı Newton yöntemi yapabilir). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Sorunu aklı başında bir şekilde ortaya koyabildiğimi ve bazı tahminler bulduğumuzu varsayarsak , tahminlerin dağılımını bilmek istiyorum, böylece örneğin hipotez testleri yapabilirim. İki katsayı vektörü ayrı ayrı test etmede iyi olurum, ancak test etmek için bir yol tercih ederim, örneğin verilen . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
kaynak

İyi soru. neye benzediğine dair bir fikrin var mı? pürüzsüz mü atlar var mı? En az kare yerine maksimum olasılık denediniz mi (bu makaleyi biliyor musunuz projecteuclid.org/… ?)

g

$g$

— Robin Girard

@robin girard: MLE, soru 1 için iyi bir fikirdir. Gauss hataları için MLE'nin geçici minimizasyonum olarak aynı tahminleri vereceğinden şüpheleniyorum . Gelince ı belirtildiği gibi, bunu değerli pozitif ve ikinci türevi olduğunu varsayabiliriz. Muhtemelen dışbükey olduğunu varsayabiliriz ve belki analitik olduğunu varsayabiliriz.

g

$g$

— shabbychef

İle biraz daha genel bağlamda , bir bir boyutlu vektör -observations (tepkiler ya da bağımlı değişkenler), bir matris -observations (eş değişken ya da bağımlı değişkenler) ve parametreleri şekilde eksi-log olasılığı olabilir ( OP sorusunda ile diyagonal $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ böylece determinant ve ortaya çıkan eksi-günlük olabilirliği Bu işlevin yaklaşmanın birkaç yolu vardır (üç parametrenin varyasyondan bağımsız olduğu varsayılarak).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

kısıtlamasını hatırlayarak işlevi standart bir optimizasyon algoritmasıyla simge durumuna küçültmeyi deneyebilirsiniz . $\sigma > 0$
Sabit için en aza indirerek profilini eksi-log-olasılık olasılığını hesaplayabilir ve sonuçta elde edilen işlevi standart bir kısıtlanmamış optimizasyon algoritmasına . $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Üç parametrenin her birini ayrı ayrı optimize etme arasında geçiş yapabilirsiniz. Üzerinde en iyi duruma getirme fazla optimize analitik yapılabilir ve ağırlıklı en küçük kareler regresyon sorunu üzerinde optimize edilir ile bir gamma genel lineer model uyan eşdeğerdir ters bağlantı. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

Son öneri bana hitap ediyor çünkü zaten iyi bildiğim çözümler üzerine kurulu. Buna ek olarak, ilk yineleme yine de yapmayı düşündüğüm bir şey. Olduğunu, ilk bir başlangıç tahminini hesaplamak potansiyel Varyans görmezden sıradan en küçük kareler ve sonra bir başlangıç tahmini almak için kare artıklardan için bir gama glm sığacak daha komplike bir model değerli görünüyorsa sadece kontrol etmek. Ağırlıklar olarak heteroskedastisiteyi en küçük kareler çözümüne dahil eden yinelemeler daha sonra tahmin üzerine iyileşebilir. $\beta_1$ $\beta_2$ $-$

Sorunun ikinci kısmı ile ilgili olarak, muhtemelen standart MLE asimptotiklerini (asimptotiklerin çalıştığı simülasyonlarla kontrol ederek) veya önyükleme doğrusal kombinasyonu için bir güven aralığı hesaplamayı . $w_1^T\beta_1 + w_2^T\beta_2$

Düzenleme: By standart MLE asimptotikler ben kovaryans matrisi Fisher bilgi ters ile MLE dağılımına değişkenli normal yaklaşımıyla demek. Fisher bilgisi tanım olarak eğiminin kovaryans matrisidir . Genel olarak parametrelere bağlıdır. Bu miktar için analitik bir ifade bulabilirseniz, MLE'yi takmayı deneyebilirsiniz. Alternatif olarak, Fisher bilgisini MLE'deki in Hessili olan gözlemlenen Fisher bilgileri ile tahmin edebilirsiniz . İlgilenilen parametreniz iki içindeki parametrelerin doğrusal bir kombinasyonudur $l$ $l$ $\beta$ -vektörler, bu nedenle, MLE'nin yaklaşık çok değişkenli normalinden, burada açıklandığı gibi tahmin ediciler dağılımının normal bir yaklaşımını bulabilirsiniz . Bu size yaklaşık bir standart hata verir ve güven aralıklarını hesaplayabilirsiniz. Pek çok (matematiksel) istatistik kitabında iyi tanımlanmıştır, ancak önerebileceğim makul erişilebilir bir sunum Yudi Pawitan'ın Tüm Olasılıklarıdır . Her neyse, asimtotik teorinin resmi türetilmesi oldukça karmaşıktır ve bir dizi düzenlilik koşullarına dayanır ve sadece geçerli asimtotik verirdağılımları. Bu nedenle, şüpheniz varsa, gerçekçi parametreler ve örnek boyutları için sonuçlara güvenip güvenemeyeceğimi kontrol etmek için her zaman yeni bir modelle bazı simülasyonlar yaparım. ile gözlemlenen veri kümesinden üçlüleri basit, parametrik olmayan önyükleme , takma prosedürü çok zaman alıcı değilse yararlı bir alternatif olabilir. $(y_i,x_i,z_i)$

— NRH
kaynak

Ne olduğunu standart MLE asimptotikler?

— shabbychef

@ shabbychef, gecikti. Daha ayrıntılı bir açıklama yaptım. Asimptotiklerin teoride açıklandığı gibi çalışması için modelin doğru olması ve tahmin edicinin MLE olması gerektiğini unutmayın. Genel tahmin fonksiyonları ve denklemleri tahmin etme çerçevesinde daha genel sonuçlar elde edilebilir, örneğin, Heyde'nin olasılığı ve ... kitabına bakınız .

— NRH