GLM için “link fonksiyonu” ile “canonical link fonksiyonu” arasındaki fark nedir?

65

'Link function' ve 'canonical link function' terimleri arasındaki fark nedir? Ayrıca, birini üst üste kullanmanın (teorik) avantajları var mı?

Örneğin, bir ikili tepki değişkeni gibi birçok bağlantı işlevleri kullanarak modellenebilir logit , probit , vb Ama, logit burada "canonical" bağlantısı fonksiyonu olarak kabul edilir.

logistic generalized-linear-model link-function

— steadyfish
kaynak

10

Bağlantı fonksiyonlarını burada yoğun bir şekilde tartışıyorum: İkili yanıt değişkeni için regresyona odaklanan logit ve probit modeller arasındaki fark . Her ne kadar bu tartışmadan sadece bir kısmı bir link fonksiyonunun 'kanonik' olmasının anlamına odaklansa da, yine de okumak faydalı olabilir. Bir kanonik-kanonik olmayan link fonksiyonunun b / t ayrımının ve avantajlarının anlaşılması için GLiM'in altında yatan matematiğe oldukça derinlemesine gitmek gerektiğini unutmayın.

— gung - Reinstate Monica

68

Yukarıdaki cevaplar daha sezgiseldir, bu yüzden daha sert çalışıyorum.

GLM nedir?

Let bir yanıt, bir dizi ifade ve boyutlu eş değişken vektör beklenen değeri ile . İçin bağımsız gözlemler, her bir dağıtım yoğunluğu ile, üstel aile burada, ilgi (doğal veya kurallı parametresi) parametresidir , bir ölçü parametredir (bilinen veya bir sıkıntı olarak görülen) ve bir ve olan bilinen fonksiyonlar. $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$ için sabit giriş değerleri boyutlu vektörler , açıklayıcı değişkenler ile gösterilir . Bu giriş, sadece doğrusal fonksiyonu, doğrusal belirteci ile etki (1) vektörleri varsayalım bunun üzerine bağlıdır. Bu gösterilebilir olarak , bu bağımlılık doğrusal tahmin bağlayarak oluşturulur ve ortalama ile. Daha spesifik olarak, ortalama , doğrusal kestiricinin tersinir ve pürüzsüz bir işlevi olarak görülür, yani

p

$p$

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$ Şimdi sorunuzu cevaplamak için:

Fonksiyonu bağlantı fonksiyonu olarak adlandırılır. İşlev bağlanıyorsa , ve böyle , bu bağlantı kanonik denilen ve formu vardır . $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

Bu kadar. Daha sonra, örneğin standart bir bağlantı kullanılarak, arzu edilen istatistiksel özelliklerinin bir dizi vardır, yeterli istatistiği olan bileşenleri ile için , Newton yöntemi ve Fisher için puanlama ML tahmin çakışması bulma, bu bağlantıları MLE türetilmesini kolaylaştırmak, bu doğrusal regresyon bazı özellikleri (örneğin, artıkların toplamı 0) tutmak sağlamak ya da sağlamak sonuç değişkeni aralıkta kalmasını . $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Dolayısıyla, varsayılan olarak kullanılmaya meyillidirler. Bununla birlikte, modeldeki etkilerin, bu veya başka bir bağlantı tarafından verilen ölçekte katkı sağlaması için önceden bir sebep bulunmadığına dikkat edin.

— Momo
kaynak

5

+1, bu gerçekten çok güzel bir cevap, @Momo. Onların paragraflarda gömüldüğü zaman okumak için zor denklem bazı buldunuz, bu yüzden çifte dolar işaretleri kullanarak onları dışarı 'bloke' (yani $ $). Umarım tamamdır (eğer olmazsa özür dilerim, geri alabilirsiniz).

— gung - Reinstate Monica

1

Ancak buradaki orijinal soru, Wei'nin sorduğu şeyi içeriyor, bu nedenle henüz net bir şekilde yanıtlanmadığını belirtmeye değer.

— Glen_b

1

Umarım şaşkınlığınızı doğru anlıyorum: Bahsettiğiniz üstel ailede, kanonik parametre ve kanonik bağlantı ise iken . Ayrıca, (birinci türevin beklenen olabilirlik fonksiyonunun değerine göre beklenen değerini hesaplarsanız ) olduğunda görünür .

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

— Momo

1

Çok teşekkür ederim. Önceki örneği kullanarak, biz . Dolayısıyla . Dediğiniz gibi (sadece yeniden ifade ettim), sadece eğer Logon olan kanonik link ise. Daha sonra . Dolayısıyla, ve yordayıcı arasındaki eşitlik , yalnızca kanonik bağlantı işlevini kullanırsak var olur.

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$

— Druss2k

2

Cevabın anahtar cümlesinde bir yazım hatası var gibi görünüyor: "işlev ve st " okunmamalı mı?

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

— Leo Alekseyev

16

gung iyi bir açıklamadan alıntı yaptı: kanonik bağlantı asgari yeterliliğe sahip özel teorik özelliklere sahip. Bu, sonuç sayısını şartlandırarak koşullu bir logit modelini (ekonomistlerin sabit etki modeli olarak adlandırır) tanımlayabileceğiniz anlamına gelir, ancak koşullu bir probit modelini tanımlayamazsınız, çünkü probit bağlantısı ile kullanmak için yeterli istatistik yoktur.

— StasK
kaynak

Minimal yeterliliğe biraz odaklanabilir misiniz? Yukarıdaki açıklama ile hala bir probit model tanımlayabiliriz, değil mi? Kanonik link işlevi kesinlikle olmayacak, ancak kanonik olmayan link işlevini kullanmanın zararı ne olacaktır.

— pikachuchameleon

9

İşte bu fonksiyonlar arasındaki ilişkilerin görselleştirilmesine yardımcı olduğu için MIT'nin 18.650 sınıfından ilham alan küçük bir şema . @ Momo'nun yayınındakiyle aynı notasyonu kullandım:

$\gamma(\theta)$ kümülatif moment üreten fonksiyondur
$g(\mu)$ link işlevidir

Bu nedenle, link fonksiyonu lineer prediktörü ortalamayla ilişkilendirir ve monoton arttırıcı, sürekli farklılaşabilir ve ters çevrilebilir olması gerekir. $g$

Diyagram, bir yönden diğerine kolayca gitmeyi sağlar, örneğin:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Kanonik bağlantı işlevi

Momo’nun titizlikle açıkladığı şeyi görmenin bir başka yolu, kanonik bağlantı işlevi olduğu zaman, o zaman işlev bileşimi kimliğim ve bu yüzden $g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
kaynak

1

Yukarıdaki cevaplar söylemek istediklerimi zaten kapsıyor. Makine öğrenmesi araştırmacısı olarak birkaç noktayı netleştirmek için:

link işlevi aktivasyon işlevinin tersinden başka bir şey değildir. Örneğin, logit, sigmoidin tersidir, probit Gaussian'ın kümülatif dağılım fonksiyonunun tersidir.
Biz genel lineer model parametresini alır, yalnızca bağlıdır ile, ağırlık vektörü ve olmak girdi olarak, daha sonra bağlantı fonksiyonu standart olarak adlandırılır. $w^T x$ $w$ $x$

Yukarıdaki tartışmanın üstel aileyle hiçbir ilgisi yoktur, ancak Christopher Bishop'ın PRML kitabı Bölüm 4.3.6'da güzel bir tartışma bulunabilir.

— Guojun Zhang
kaynak