Lojistik regresyon için şapka matrisinden bilgi

Benim için açık ve birden fazla sitede, şapka matrisinin diyagonalindeki değerlerin doğrusal regresyon için verdiği bilgileri açıklıyor.

Lojistik regresyon modelinin şapka matrisi bana daha az açık. Lineer regresyon uygulayarak şapka matrisinden aldığınız bilgilerle aynı mı? Bu, başka bir CV konusunda (kaynak 1) bulduğum şapka matrisinin tanımıdır:

$H=VX ( X'V X)^-1 X' V$

X ile kestirim değişkenlerinin vektörü ve V ile çapraz bir matristir $\sqrt{(π(1−π))}$ .

Başka bir deyişle, bir gözlemin şapka matrisinin belirli değerinin aynı zamanda ortak değişkenlerin aynı zamanda değişken alandaki konumunu sunduğu ve bu gözlemin sonuç değeri ile ilgisi olmadığı doğru mu?

Bu Agresti'nin "Kategorik veri analizi" kitabında yazılmıştır:

Bir gözlemin kaldıracı ne kadar büyük olursa, uyum üzerindeki potansiyel etkisi de o kadar büyük olur. Normal regresyonda olduğu gibi, kaldıraçlar 0 ile 1 arasında düşer ve model parametrelerinin sayısını toplar. Sıradan regresyondan farklı olarak, şapka değerleri uyumun yanı sıra model matrisine de bağlıdır ve aşırı yordayıcı değerlere sahip noktaların yüksek kaldıraç oranına sahip olması gerekmez.

Yani bu tanımdan, onu normal lineer regresyonda kullandığımız için kullanamayacağımız anlaşılıyor?

Kaynak 1: R'de lojistik regresyon için şapka matrisi nasıl hesaplanır?

regression logistic

— Kasper
kaynak

Gösterimi biraz değiştireyim ve şapka matrisini burada , genel elemanları olan çapraz simetrik bir matristir . Göstermek aynı eş değişken değere sahip bireylerin grupları gibi . Eğer elde edebilirsiniz diyagonal elemanın ( olarak şapka matrisin) sonra toplamı lineer regresyon gibi parametre sayısını verir. Şimdi sorunuza:

H = V^{\frac{1}{2}} X (X^{'} V X)^{- 1} X^{'} V^{\frac{1}{2}}

$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$

V

$V$

v_{j} = m_{j} π (x_{j}) [1 - π (x_{j})]

$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$

m_{j}

$m_j$

x = x_{j}

$x = x_j$

j^{t h}

$j^{th}$

h_{j}

$h_j$

h_{j} = m_{j} π (x_{j}) [1 - π (x_{j})] x_{j}^{'} (X^{'} V X)^{- 1} x_{j}^{'}

$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$

h_{j}

$h_j$

Şapka matrisindeki kaldıraç değerlerinin yorumlanması, tahmini olasılığa bağlıdır . Eğer , kaldıraç değerlerini doğrusal regresyon durumunda olduğu gibi yorumlayabilirsiniz, yani ortalamadan daha uzak olmak size daha yüksek değerler verir. Olasılık dağılımının en uç noktalarındaysanız, bu kaldıraç değerleri artık aynı anlamda mesafeyi ölçmeyebilir. Bu, Hosmer ve Lemeshow'dan (2000) alınan aşağıdaki şekilde gösterilmiştir: $\pi$ $0.1 < \pi < 0.9$

resim açıklamasını buraya girin

Bu durumda, ortak alandaki en uç değerler, lineer regresyon durumunun aksine size en küçük kaldıraç değerini verebilir. Bunun nedeni, lineer regresyondaki kaldıraçın, monoton olmayan bir fonksiyon olmasıdır; bu, lineer olmayan lojistik regresyon için doğru değildir. Şapka matrisinin diyagonal elemanlarının yukarıdaki formülasyonunda ortalamadan uzaklığı temsil eden monoton olarak artan bir kısım vardır. Bu kısmıdır, sadece kendiniz mesafe ile ilgileniyorsanız bakabilirsiniz. Lojistik regresyonlar için tanısal istatistiklerin çoğunluğu tam kaldıraç , bu nedenle bu ayrı monotonik kısım nadiren tek başına düşünülür. $x'_j (X'VX)^{-1}x'_j$ $h_j$

Bu konuyu daha derinlemesine okumak istiyorsanız, lojistik şapka matrisini türeyen Pregibon (1981) ve Hosmer ve Lemeshow (2000) kitabına bir göz atın.

Pregibon, D. (1981) "Lojistik regresyon teşhisi", Yıllık İstatistikler, Cilt. 9 (4), s. 705-724
Hosmer, DW ve Lemeshow, S. (2000) "Uygulamalı Lojistik Regresyon", 2. Baskı, John Wiley ve Sons, Inc.

— Andy
kaynak