Mahalanobis mesafesi ile Kaldıraç arasındaki ilişkiyi kanıtlıyor musunuz?

Wikipedia'da formüller gördüm . Mahalanobis mesafesini ve Kaldıraç ile ilgili:

Mahalanobis mesafe yakın kaldıraç istatistik ile ilgilidir , ama farklı bir ölçek var $h$
$D^{2} = (N- - 1) (h - \frac{1}{N-}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

Bir de bağlantılı makalede , Vikipedi açıklar şu ifadelerle: $h$

Doğrusal regresyon modelinde için kaldıraç puan veri birimi olarak tanımlanır: şapka matris çapraz eleman ; burada matris devri anlamına gelir. $i^{th}$
$h_{ben ben} = ('H)_{ben ben},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

Hiçbir yerde kanıt bulamıyorum. Tanımlardan başlamaya çalıştım ama ilerleme kaydedemiyorum. Herkes bir ipucu verebilir mi?

— dave2d
kaynak

Mahalanobis mesafesinin aşağıdan yukarıya doğru açıklaması Mahalanobis mesafesinin açıklaması mı? iki temel sonuç içerir:

Tanım gereği, regresörler düzgün bir şekilde değiştiğinde değişmez.
$x$ ve $y$ vektörleri arasındaki kare Mahalanobis mesafesi ,
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ ; burada $\Sigma$ , verilerin kovaryansıdır.

(1) regresörlerin ortalamalarının sıfır olduğunu varsaymamızı sağlar. $h_i$ yi hesaplamak için kalır . Ancak, iddianın doğru olması için bir varsayım daha eklememiz gerekiyor:

Model bir durdurma içermelidir.

Buna izin vermek için, gözlem için regresörün değerini olarak yazarak $k \ge 0$ regresörleri ve $n$ verisi olsun . Bu kolon vektörü olsun geri çekici değerleri yazılır ve bu satır vektörü gözlem için değerler yazılır . Daha sonra örnek matrisi olan $j$ $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

ve tanım gereği şapka matrisi,

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

köşegen boyunca $i$ girişi

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

Bunun için merkezi matrisi tersine çevirmekten başka bir şey yok - ancak ilk anahtar sonuçtan dolayı, özellikle blok matris formunda yazdığımızda kolaydır:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

burada $\mathbf{0} = (0,0,\ldots,0)^\prime$ ve

C_{j k} = \frac{1}{n} Σ_{ben = 1}^{n} x_{ben j} x_{ben k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

( Regresörlerin örnek kovaryans matrisi için $\Sigma$ yazdım .) Bu blok çapraz olduğundan, tersi sadece blokları ters çevirerek bulunabilir:

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

Tanımdan $(1)$ elde ederiz

\begin{aligned} h_{ben} & = (1; x_{ben}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{ben})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{ben} Σ^{- 1} x_{ben}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{ben}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

Kare Mahalanobis uzunluğu $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$ verimi için çözme

D_{ben}^{2} = (n - 1) (h_{ben} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

$1/n$ $X$ $n-1$ $n-1$ $n$

$i$

İlişkinin gerçekten geçerli olduğunu gösteren R kodu:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— whuber
kaynak

Mükemmel cevap, titizlik ve sezgi ile çok iyi yuvarlanmış. Şerefe!

— cgrudz

Yazı için teşekkürler @whuber! Akıl sağlığı kontrolü için, ilişkinin gerçekten geçerli olduğunu gösteren R kodu: x <- mtcars rownames (x) <- NULL colnames (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) hepsi eşittir (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h - 1 / n))

— Tal Galili

@Tal Sağlık kontrolüne ihtiyacım olduğunu düşünmemiştim - ama kod için teşekkür ederim. :-) Onu ve çıktısını biraz açıklığa kavuşturmak için değişiklikler yaptım.

— whuber

@whuber, eşitliğin nasıl işleyeceğini gösteren bir örnek istedim (varsayımları doğru bulduğumu açıklığa kavuşturarak). Ayrıca ilgili Wiki girişini de uzattım : en.wikipedia.org/wiki/… (uygun gördüğünüz gibi orada da harcama yapmaktan çekinmeyin :))

— Tal Galili