Etki fonksiyonları ve OLS

Etki işlevlerinin nasıl çalıştığını anlamaya çalışıyorum. Birisi basit bir OLS regresyonu bağlamında açıklayabilir mi?

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

Burada için etki fonksiyonunu istiyorum . $\beta$

regression least-squares

— stevejb
kaynak

Burada henüz özel bir soru yok: Etki işlevinin nasıl hesaplandığını görmek ister misiniz? Belirli bir ampirik örnek ister misiniz? Ne anlama geldiğinin sezgisel bir açıklaması mı?

— whuber

Frank Critchley'nin 1986 tarihli makalesine bakarsanız "temel bileşenlerdeki işlevleri etkileme" (makalenin tam adını hatırlayamıyorum). Burada sıradan gerileme için etki işlevini tanımlar (bu benim cevabımı yanlış kanıtlayabilir veya kanıtlamayabilir).

— olasılık

Yanıtlar:

Etki fonksiyonları temel olarak, bir istatistiğin değeri üzerindeki bir gözlemin bu istatistiği yeniden hesaplamak zorunda kalmadan etkisini (veya "etkisini") değerlendirmek için kullanılabilecek analitik bir araçtır . Asimptotik varyans tahminleri oluşturmak için de kullanılabilirler. Etkisi eşitse o zaman asimptot varyansıdır . $I$ $\frac{I^2}{n}$

Etki işlevlerini anlama şeklim aşağıdaki gibidir. ile gösterilen bir çeşit teorik . Basit OLS için, $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ Burada standart normal CDF ve hata sapmasıdır. Artık herhangi istatistik dolayısıyla bu CDF'nin bir fonksiyonu, gösterim olacağını gösterebilir (yani bazı fonksiyonu ). Şimdi işlevini "biraz" olarak değiştirdiğimizi varsayalım , Nerede ve . Bu nedenle , "iith" veri noktası kaldırılmış olarak verilerin CDF'sini temsil eder. Taylor serisi yapabiliriz

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ yaklaşık . Bu şunu verir:

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

olduğuna dikkat edin : $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Buradaki kısmi türeve etki fonksiyonu denir. Bu, "i" gözleminin silinmesi nedeniyle bir istatistiğe yapılacak yaklaşık "birinci dereceden" düzeltmeyi temsil eder. Regresyonda, kalanın asimtotik olarak sıfıra gitmediğini, böylece bunun gerçekten alabileceğiniz değişikliklere bir yaklaşım olduğunu unutmayın. Şimdi : $\beta$

β = \frac{\frac{1}{n} Σ_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} Σ_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

Dolayısıyla beta iki istatistiğin bir fonksiyonudur: X'in varyansı ve X ve Y arasındaki kovaryans. Bu iki istatistik, CDF açısından aşağıdaki gibi temsillere sahiptir:

c Ö v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ ve burada

v bir r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

İ'inci gözlemi kaldırmak için , her iki integralde de değiştiriyoruz: $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (ben)} = \int x d [(1 + ζ) F - ζ δ_{(ben)}] = μ_{x} - ζ (x_{ben} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V bir r (X)_{(ben)} = \int (X - μ_{x (ben)})^{2} d F_{(ben)} = \int (X - μ_{x} + ζ (x_{ben} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(ben)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

koşullarını göz ardı ederek elde ettiğimizi basitleştiriyoruz: Benzer şekilde $\zeta^{2}$

V bir r (X)_{(ben)} \approx V bir r (X) - ζ [(x_{ben} - μ_{x})^{2} - V bir r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C Ö v (X, Y)_{(ben)} \approx C Ö v (X, Y) - ζ [(x_{ben} - μ_{x}) (y_{ben} - μ_{y}) - C Ö v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

Böylece işlevini işlevi olarak ifade edebiliriz . Bu: $\beta_{(i)}$ $\zeta$

β_{(ben)} (ζ) \approx \frac{C Ö v (X, Y) - ζ [(x_{ben} - μ_{x}) (y_{ben} - μ_{y}) - C Ö v (X, Y)]}{V bir r (X) - ζ [(x_{ben} - μ_{x})^{2} - V bir r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

Şimdi Taylor serisini kullanabiliriz:

β_{(ben)} (ζ) \approx β_{(ben)} (0) + ζ {[\frac{\partial β_{(ben)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

Bunu basitleştirmek:

β_{(ben)} (ζ) \approx β - ζ [\frac{(x_{ben} - μ_{x}) (y_{ben} - μ_{y})}{V bir r (X)} - β \frac{(x_{ben} - μ_{x})^{2}}{V bir r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

Ve , , ve istatistiklerinin değerlerini elde ederiz: $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(ben)} \approx β - \frac{x_{ben} - \bar{x}}{n - 1} [\frac{y_{ben} - \bar{y}}{\frac{1}{n} Σ_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{ben} - \bar{x}}{\frac{1}{n} Σ_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

Tek bir gözlemin kaldırılmasının etkisinin, modeli yeniden sığdırmak zorunda kalmadan nasıl yakınlaştırılabileceğini görebilirsiniz. Ayrıca, ortalamanın eşit bir x değerinin çizginin eğimi üzerinde nasıl bir etkisi olmadığını görebilirsiniz . Bunu düşünün ve bunun nasıl mantıklı olduğunu göreceksiniz. Bunu, standart değerleri açısından da daha özlü bir şekilde yazabilirsiniz : $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(ben)} \approx β - \frac{\tilde{x_{ben}}}{n - 1} [\tilde{y_{ben}} \frac{s_{y}}{s_{x}} - \tilde{x_{ben}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— probabilityislogic
kaynak

Hikaye ek veri noktasının etkisi hakkında mı? Daha çok zaman serisi verileri için dürtü yanıtına alışkındım, istatistiksel bağlamda tüm etkiler marjinal etki veya standart regresyondan (daha iyi seçim) beta katsayısı ile tanımlanacaktır. Soruyu ve cevabı yargılamak için gerçekten daha fazla içeriğe ihtiyacım var, ama bu güzel, sanırım (+1 henüz değil ama bekliyor).

— Dmitrij Celov

@dmitrij - Bağlantıdan ima edilen (ya da çıkarım yaptığım) şey bu - bir istatistiğin sağlamlık özellikleriyle ilgilidir. Etki işlevleri 1 veri noktasından biraz daha geneldir - delta işlevini bunların bir toplamı olarak yeniden tanımlayabilirsiniz (çok fazla gözlem). Bunu bir dereceye kadar bir "ucuz Jacknife" olarak düşünürdüm - çünkü modelin yeniden takılmasını gerektirmezsiniz.

— olasılık

İşte bir regresyonun etki fonksiyonları hakkında konuşmanın süper genel bir yolu. İlk olarak etki fonksiyonlarını sunmanın bir yolunu ele alacağım:

Diyelim ki üzerinde bir dağılımdır . Kirlenmiş dağılım fonksiyonu , , aşağıdaki gibi tanımlanabilir: burada olasılık ölçüsüdür olan atar olasılık 1 ve 0 öğesinin diğer tüm öğelerine . $F$ $\Sigma$ $F_\epsilon(x)$

F_{ε} (x) = (1 - ε) F + ε δ_{x}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

Buradan etki fonksiyonunu oldukça kolay bir şekilde tanımlayabiliriz:

Etkisi fonksiyonu arasında de , gibi tanımlanmıştır: $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (x) = lim_{ε \to 0} \frac{\hat{θ} (F_{ε} (x)) - \hat{θ} (F)}{ε}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

Buradan bir etkisi fonksiyonu Gateaux türevi olduğunu görmek mümkündür de yönünde . Bu, etki fonksiyonlarının (benim için) yorumunu biraz daha açık hale getirir: Bir etki fonksiyonu, belirli bir gözlemin tahminci üzerindeki etkisini anlatır. $\hat\theta$ $F$ $\delta_x$

OLS tahmini soruna bir çözümdür:

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

Gözleme biraz daha fazla ağırlık veren kirlenmiş bir dağılım düşünün : $(x,y)$

{\hat{θ}}_{ε} = \arg min_{θ} (1 - ε) E [(Y - X θ)^{T} (Y - X θ)] + ε (y - x θ)^{T} (y - x θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

İlk sipariş koşullarını alma:

{(1 - ε) E [X^{T} X] + ε x^{T} x} {\hat{θ}}_{ε} = (1 - ε) E [X^{T} Y] + ε x^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

Etki fonksiyonu sadece bir Gateaux türevi olduğu için şimdi şunu söyleyebiliriz:

- (E [X^{T} X] + x^{T} x) {\hat{θ}}_{ε} + E [X^{T} X] ψ_{θ} (x, y) = - E [X^{T} Y] + x^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

En , , yani: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (x, y) = E [X^{T} X]^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

Bu etki fonksiyonunun sonlu örnek karşılığı:

ψ_{θ} (x, y) = {(\frac{1}{N-} \underset{ben}{Σ} X_{ben}^{T} X_{ben})}^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

Genel olarak bu çerçevenin (Gateaux türevleri olarak etki fonksiyonları ile çalışmak) başa çıkmayı daha kolay buldum.

— jayk
kaynak