Bir GLM'de, doymuş modelin günlük olasılığı her zaman sıfır mıdır?

Genelleştirilmiş bir doğrusal modelin çıktısının bir parçası olarak, modeli değerlendirmek için boş ve artık sapma kullanılır. Sıklıkla bu miktarların formüllerini doygun modelin günlük olasılığı açısından ifade ediyorum, örneğin: /stats//a/113022/22199 , Lojistik Regresyon: Doygun bir model nasıl elde edilir

Doymuş model, anladığım kadarıyla, gözlemlenen yanıta tam olarak uyan modeldir. Bu nedenle, gördüğüm çoğu yerde, doymuş modelin log olasılığı her zaman sıfır olarak verilir.

Yine de, sapma formülünün nasıl verildiği bazen bu miktarın sıfır olmadığını gösterir. (Her zaman sıfır gibi, neden dahil ettiniz?)

Hangi durumlarda sıfır olmayabilir? Asla sıfır değilse, neden sapma formülüne dahil etmelisiniz?

— Alex
kaynak

Yanıtlar:

Eğer gerçekten günlük olasılığını kastediyorsanız , cevap şudur: bu her zaman sıfır değildir.

Örneğin, Poisson verilerini düşünün: . için günlük olasılığı şu şekilde verilir: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Ayırt içinde ile ilgili olarak için ve ayarlayın (bu, doymuş modeli için MLE elde nasıl): Bu çözme almak , ikame içine geri için doymuş modelin log olasılık olduğu verir: çok özel olmadıkça değerler. $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

RFonksiyonun yardım sayfasında glm, öğenin altında deviance, belge bu sorunu şu şekilde açıklar:

deviance sabit, eksi maksimize edilmiş günlük olasılığının iki katı. Mantıklı olduğunda, sabit, doymuş bir modelin sapma sıfıra sahip olacağı şekilde seçilir.

Bu bahsedilen olduğuna dikkat edin sapma yerine log olasılık doymuş modeli, sıfır olacak şekilde seçilir.

Muhtemelen, gerçekten onaylamak istediğiniz şey, " doymuş modelin sapması her zaman sıfır olarak verilir", ki bu, sapmadan, tanım gereği ( Alan tarafından Kategorik Veri Analizi (2. Baskı) Bölüm 4.5.1'e bakınız ) Agresti), belirtilen bir GLM'nin doymuş modele olasılık oranı istatistiğidir. constantR belgelerinde yukarıda belirtilen aslında, doymuş modelin iki maksimize log olasılığıdır.

"Yine de, sapma formülünün verilme şekli bazen bu miktarın sıfır olmadığını gösterir" ifadesine gelince, muhtemelen sapma teriminin kullanımının kötüye kullanılması nedeniyledir . Örneğin, R, iki karşılaştırma olasılık oranı istatistik rasgele (iç içe) modelini ve da daha kesin olarak adlandırılan olacaktır sapma olarak ifade edilir farkı arasında sapma arasında ve sapma biz halinde Agresti'nin kitabında verilen tanımı yakından takip etti. $M_1$ $M_2$ $M_1$ $M_2$

Sonuç

Doymuş modelin log olasılığı genellikle sıfır değildir.
Doymuş modelin sapması (orijinal tanımında) sıfırdır.
Sapma aslında başka bir şey (sapmaların arasındaki fark) anlamına gelir yazılımların gelen çıkış (örneğin, R), genel sıfır olmayan bulunmaktadır.

Aşağıdakiler, genel üstel aile vakası ve başka bir somut örnek için türetilmiştir. Verilerin üstel aileden geldiğini varsayalım (bkz. S ile Modern Uygulamalı İstatistik , Bölüm ): burada önceki ağırlıklar olarak bilinir ve dağılım / ölçek parametresidir (binom ve Poisson gibi birçok durum için bu parametre bilinirken, normal ve Gama gibi diğer durumlar için bu parametre bilinmemektedir). Ardından günlük olasılığı: $7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$

A_{i}

$A_i$

φ

$\varphi$

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$ Poisson örneğinde olduğu gibi, doymuş modelin parametreleri aşağıdaki skor işlevi çözülerek tahmin edilebilir :

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

Yukarıdaki denklemin çözümünü belirtin , sonra doymuş modelin günlük olasılığının genel formu (ölçek parametresini sabit olarak kabul edin): $\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

Önceki cevabımda, nin sağ tarafındaki ilk terimin her zaman sıfır olduğunu, yukarıdaki Poisson veri örneğinin yanlış olduğunu kanıtladığını yanlış söyledim. Daha karmaşık bir örnek için ekte verilen Gamma dağılımını düşünün . $(**)$ $\Gamma(\alpha, \beta)$

Doymuş Gamma modelinin günlük olasılığındaki ilk terimin kanıtı sıfır değildir : Verilen önce üstel aile formuna sahip olması için yeniden parametrelendirme yapmalıyız . izin doğrulanabilir o zaman şu temsile sahiptir: burada

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$ Bu nedenle, doymuş modelin MLE'leri . Bu nedenle çok özel değerler almadığı sürece .

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Zhanxiong
kaynak

Mantıksallık, yalnızca model olası sonuçların her birine% 100 olasılık atayabiliyorsa sıfır mıdır?

— Alex

Ne demek istediğini tam olarak anlamıyorum. Fakat benim , eğer sadece aynı ve dağılım parametresi yoksa olduğu sonucuna varabilirsiniz .

0

$0$

τ

$\tau$

0

$0$

— Zhanxiong

Türeviniz çok iyi ama resmi kanıt şu anda kafamın biraz üstünde. Poisson modeliyle ilgili örneğiniz için teşekkür ederiz. Bu örnekten çıkardığım şey, Poisson modelinin Poisson ortalaması için herhangi bir değer verildiğinde gözlenen sonuca% 100 olasılık atayamamasıdır, dolayısıyla olasılık sıfır olamaz.

— Alex

"Model , gözlenen sonuca olasılık atar" ifadesi bana garip geliyor. gözlemleri ve bir Poisson rastgele değişkeni ise, ?

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

— Zhanxiong

Demek istediğim, bir Poisson rastgele değişkeni olması durumunda , herhangi bir veya Poisson ortalaması için olması , bu nedenle gözlemlenen için sıfır günlük olasılığı veren herhangi bir model parametresi bulmak imkansızdır. . Belki doymuş bir model kavramını tamamen yanlış anlıyorum.

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

— Alex

Zhanxiong'un cevabı zaten harika (+1), ancak burada bir lojistik regresyon için doymuş modelin log olasılığının olduğunu hızlı bir şekilde gösteriyoruz . Göndereceğimi düşündüm çünkü bu TeX'i bu sitede görmedim ve bunları sadece bir ders için yazdım. $0$

Olasılık burada .

\begin{matrix} (1) & L (y; X, β) = \prod_{i = 1}^{n} f (y_{i}; x_{i}, β) = \prod_{i = 1}^{n} π_{i}^{y_{i}} (1 - π_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} {(\frac{π_{i}}{1 - π_{i}})}^{y_{i}} (1 - π_{i}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

Günlük olasılığı

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

Türevleri tüm katsayılara göre alırsanız

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Bu ifadenin değerine ayarlanması ve için çözüm size yanıt verecektir. Genellikle bu analitik olarak yapılamaz, bu da bu modele uyacak yinelemeli algoritmalar kullanmanın popülerliğini / gerekliliğini açıklar, ancak doymuş bir model durumunda mümkündür. $\mathbf{0}$ $\boldsymbol{\beta}$

Doymuş modeli bulmak için her satıra kendi katsayısını veriyoruz. Böylece ve tasarım matrisi katsayı vektörü $\boldsymbol{\beta} \in \mathbb{R}^n$

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Özellikle . $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$

Dolayısıyla , denklem (2) ' nin bize $j$

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

ki bu sadece her bir gözlem için : $i$

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ ya da diğer bir deyişle her artı ya da eksi sonsuz olan (eğer olan ya da , sırasıyla). En büyük olasılıkı elde etmek için bu parametreleri (1) 'e geri ekleyebiliriz: günlüğü açıkça .

β_{i}

$\beta_i$

y_{i}

$y_i$

1

$1$

0

$0$

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$

0

$0$

— Taylor
kaynak

Ancak bu, gruplanmamış verileri varsayar . (ve aynı değerlere sahip) gruplarınız varsa (R'de, form kullanılarak örnek olarak), doymuş modelin loglikelihood sıfır değeri yoktur.

n_{i} > 1

$n_i>1$ glm( cbind(k, n-k) ~ x + ...

— kjetil b halvorsen

@kjetilbhalvorsen oh iyi bir nokta. Bunu kontrol etmeme izin vermedim

— Taylor

@Alex: evet, doğru. en azından ayrık dağılımlar için. sürekli dağılımlar için, yoğunluğun 1 olması gerekir, ki bu mutlaka anlamlı değildir ve bu nedenle denemek ve elde etmek için mantıklı bir şey değildir. biraz daha genel olarak, doymuş modelin log olasılığı, temeldeki dağıtım ailesi varsayımınızı izleyen herhangi bir modelin performansı için bir üst sınır verir. Başka bir deyişle, doymuş bir binom modelinin, Y'nin binom olduğu varsayılarak, verilen veri seti (X, Y) için "aldığı kadar iyidir" logaritmik olasılığı. % 100 (veya benzeri) yerine glm modelinizi bu üst sınırla karşılaştırmak mantıklıdır, çünkü modeliniz doğal olarak yanıt dağılımı varsayımınızla sınırlıdır.

— bettmensch88
kaynak