Bir GLM'nin MLE'sini bulmak için IRLS yönteminin basit bir sezgisel açıklamasını verebilir misiniz?

Arka fon:

Princeton'ın GLM için MLE tahminini incelemeye çalışıyorum .

Ben MLE tahmin temellerini anlamak: likelihood, score, gözlenen ve beklenen Fisher informationve Fisher scoringtekniği. Ve MLE tahmini ile basit doğrusal regresyonun nasıl gerekçelendirileceğini biliyorum .

---

Soru:

Bu yöntemin ilk satırını bile anlayamıyorum :(

çalışma değişkenlerinin arkasındaki sezgi nedir :$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

değerini tahmin için neden yerine kullanılıyorlar ?$y_i$$\beta$

Ve onların ilişkisi ne response/link functionarasındaki bağlantı olan ve$\eta$$\mu$

Herhangi birinin basit bir açıklaması varsa veya beni bu konuda daha temel bir metne yönlendirebilirseniz minnettar olurum.

Birkaç yıl önce öğrencilerime (ispanyolca) bu konuda bir makale yazdım, bu yüzden burada bu açıklamaları yeniden yazmaya çalışabilirim. Artan karmaşıklığın bir dizi örneği ile IRLS'ye (yinelemeli olarak en küçük kareler) bakacağım. İlk örnek için konum ölçeğinde bir aile kavramına ihtiyacımız var. bir anlamda sıfır merkezli bir yoğunluk fonksiyonu olsun . tanımlayarak bir yoğunluk ailesi oluşturabiliriz burada bir ölçek parametresidir ve f ( x ) = f ( x ; μ , σ ) = $f_0$σ>0μf0N(μ,σ

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$bir konum parametresidir. Her zamanki hata teriminin normal dağılım olarak modellenmiş olduğu ölçüm hatası modelinde, normal dağılım yerine yukarıda yapılandırıldığı gibi bir konum ölçeği ailesi kullanabiliriz. Tüm standart normal dağılımı, yukarıdaki yapı verir ailesi.$f_0$$\text{N}(\mu, \sigma)$

Şimdi bazı basit örneklerde IRLS kullanacağız. İlk önce yoğunluğunda modelinde ML (maksimum olasılık) tahmincilerini , Cauchy konum ailesini dağıtır (yani bu bir konum ailesidir). Ama önce bazı gösterimler. Ağırlıklı en küçük kareler tahmin verilir burada bazı ağırlıklardır. ML tahmincisinin ile aynı formda ifade edilebileceğinif ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ μ μ μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$wı^ ıaısı=yı - ^ ı . L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$kalıntıların bazı fonksiyonları Olabilirlik fonksiyonu ve mantıksallık işlevi İle ilgili olarak onun türevi olduğunu burada . Yazmak $$\epsilon_i = y_i-\hat{\mu}.$$ l(y)=-ngünlüğü(π)- n ∑ i=1günlüğü(1+(yi-μ)2). μ ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ ϵi=yi-μf0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ f ′ 0 (ϵ)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ ve , Biz bulmak biz tanımı kullanılan f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Hatırlamasıdır , bu denklemi elde IRLS arasında tahmin denklemidir. Bunu not et$\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. ağırlıkları her zaman pozitiftir.$w_i$
2. Kalıntı büyükse, ilgili gözlemlere daha az ağırlık veririz.

Uygulamada ML tahmincisini hesaplamak için bir başlangıç ​​değerine ihtiyacımız var , örneğin medyanı kullanabiliriz. Bu değeri kullanarak ve ağırlıklarını nın yeni değeri Bu şekilde devam ederek ve Algoritmanın geçişindeki tahmini değer$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Devam sekansı kadar yakınsak. $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

Şimdi bu süreci daha genel bir yer ve ölçek ailesi, ile daha az ayrıntıyla . Let yukarıdaki yoğunluğu ile bağımsız olması. Ayrıca tanımlayın . Mantıksallık işlevi yazarken , ve Mantıksallık türevinin hesaplanması $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ ve bunu sıfıra ilk örnekle aynı tahmin denklemini verir. Sonra için bir tahminci : $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ tahmincisi giden Yukarıdaki yinelemeli algoritma bu durumda da kullanılabilir. $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Aşağıda R'yi kullanarak, çift üstel model (bilinen skala ile) ve verilerle sayısal bir inceleme yapıyoruz y <- c(-5,-1,0,1,5). Bu veriler için ML tahmincisinin gerçek değeri 0'dır. Başlangıç ​​değeri olacaktır mu <- 0.5. Algoritmanın bir geçişi

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

bu fonksiyon ile "elle" iterasyonlarını deneyebilirsiniz Sonra tekrarlamalı algoritma tarafından yapılabilir

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Alıştırma: Eğer model scale parametresi ile dağılımı ise yinelemeler ağırlığı ile verilmiştir Alıştırma: Yoğunluk lojistik ise, ağırlıkların tarafından verildiğini gösterin $t_k$$\sigma$w(ϵ)=1-e

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Şimdilik burada bırakacağım, bu yazıyı sürdüreceğim.