11

Ölçek eşdeğerliğinin resmi bir tanımı yok, ama burada İstatistiksel Öğrenmeye Giriş bu konuda s. 217:

Standart en küçük kareler katsayıları ... ölçek : sabit bir çarpmak , en küçük kareler katsayısı tahminlerinin faktörüyle ölçeklenmesine yol açar . $X_j$ $c$ $1/c$

Basit olması için, genel doğrusal modelini varsayalım , burada , , , ve içindeki tüm girişleri içeren bir matrisidir (burada ). , olan gerçek değerli rastgele değişkenlerin boyutlu bir vektörüdür . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

OLS tahmininden, $\mathbf{X}$ tam (sütun) sıralaması varsa,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Varsayalım

X

$\mathbf{X}$ ,

x_{k}

$\mathbf{x}_k$ için

sütununu

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , sabit bir

c \neq 0

$c \neq 0$ . Bu matrise eşdeğer olur

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ matris diğer tüm girişler

S

$\mathbf{S}$ üzerindedir

0

$0$ ve

c

$c$ olan

k

$k$ diyagonalinin inci giriş

S

$\mathbf{S}$ . Sonra,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ yeni tasarım matrisi

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Bazı çalışmalardan sonra,

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} ve

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Yukarıda belirtilen hak talebini göstermek için buradan nasıl giderim (yani, )? Bana nasıl hesaplanacağı belli değil

.

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

least-squares linear-model

— Klarnetçi
kaynak

Bence doğru değil, bir satırda bir çarpanı eksik .

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Ayrıca, iddianın unutmayın. .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@Firebug Evet, bunu anladım. Bir cevap gönderiyorum.

— Klarnetçi

2

Sen yerini alabilecek bütün çarparak, çünkü çok daha basit birimler analizi ile bu cebir tarafından sadece ölçüm birimlerini değiştirir ve bu nedenle onun katsayısı ile ilişkili birimlerinde gelen değişim bölerek etmektir . Kanıtlamaz bölünmelidir maalesef. Ancak, bu düşünce zinciri çoklu regresyon kadar açık olduğu bir zamanda, az bir regresör karşı regresyon bir arkaya yapılabilir olduğunu hatırlatıyor olabilir bölünür ve ispat tamamlanır böylece.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, sonucun sezgisi açık olsa da, bir kanıt sunarken biraz cebir olmalı gibi görünüyor. Sonuçta, ölçeklendirme faktörü ters çevrilmelidir.

c

$c$

— user795305

11

Teklifteki iddia , sütunlarını yeniden ölçeklendirmeyle ilgili bir ifade koleksiyonu olduğundan , hepsini bir kerede kanıtlayabilirsiniz. Gerçekten de, iddianın genelleştirilmesini kanıtlamak için daha fazla iş gerektirmez: $X$

Zaman tersinir ve matris ile sağ çarpılır , daha sonra yeni katsayısı tahmin eşittir yan çarpılır sol . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

İhtiyacınız olan tek cebirsel gerçek ve matrisleri için olan (kolayca kanıtlanmış, iyi bilinen). ve ters çevrilebilir matrisleri için . (Genelleştirilmiş tersleri çalışırken ikinci bir daha ince versiyonu gereklidir: tersi için ve ve bir , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

göre kanıt :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Bu kanıtın tamamen genel olması için üst simge genelleştirilmiş bir tersi ifade eder.) $^-$

Geometri ile kanıt :

Verilen bazlar ve arasında ve , sırasıyla bir lineer transformasyonu temsil eden için . Sağ-çarpma ile olarak kabul edilebilir bu dönüşüm sabit bırakarak ama değişen için (kolonlarına, bir ). Temelinde bu değişikliğin altında temsili bir vektör sol-çarpma ile değiştirmek gerekir , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Bu kanıt değiştirilmez, ters çevrilemese bile çalışır .) $X^\prime X$

Tırnak özellikle diyagonal matris halinde ifade eder ile için ve . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

En küçük karelerle bağlantı

Buradaki amaç, sonucu elde etmek için ilk prensipleri kullanmaktır, prensip en az karelerdir: artıkların karelerinin toplamını en aza indiren katsayıları tahmin etmek.

Yine, (büyük) bir genellemenin kanıtlanması artık zor değildir ve oldukça açıklayıcıdır. Diyelim ki , gerçek vektör uzaylarının herhangi bir haritası (doğrusal ya da değil) ve üzerindeki herhangi bir gerçek değerli fonksiyon olduğunu varsayalım . Let noktalarının (boş) kümesi olan en aza indirilir.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Sonuç: Yalnızca ve tarafından belirlenen , vektörleri temsil etmek için kullanılan temeli seçimine bağlı değildir . $U$ $Q$ $\phi$ $E_p$ $V^p$

İspat: QED.

Kanıtlayacak bir şey yok!

Sonuç Uygulanması: Let üzerinde olumlu yarı kesin karesel formu , izin ve varsayalım bir doğrusal ile temsil edilen haritanın zaman tabanları ve seçilir. tanımlayın . bir temel seçin ve varsayalım , bu temelde bazı nin temsilidir . Bu en küçük karelerdir : , kare mesafesini en aza indirir . Çünkü $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ tabanını değiştirerek, bazı ters çevrilebilir matrisinin ile sağa karşılık gelen doğrusal bir haritadır . O irade sol çarpma tarafından , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
kaynak

6

$\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Bu yeni ölçekli tahminciyi tanımlayın . Bu , tüm için . tanımlayarak , yukarıda görüntülenen bu eşitsizliği olarak herkes için . Bu nedenle ve en küçük kareler tahmincisinin ölçekleme matrisinin ters çevrilebilirliği nedeniyle $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , izler . Bizim durumumuzda, bu tek farklılık ile girişi tarafından boyutlandırıldıktan .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
kaynak

1

ve benzeri işlevlerle çalışmam gerektiği için aşina değilim - ikinci denkleminizden üçüncü denklem satırına geçişi açıklayabilir misiniz?

arg min

$\text{arg min}$

— Clarinetist

Biraz farklı yazdım, bu da adımları daha net hale getirmeli.

— user795305

Bu gerçekten zekice. (+1)

— Klarnetçi

4

Soruyu gönderdikten sonra bunu anladım. İşim doğruysa, iddiayı yanlış yorumladım. ölçeklendirme sadecenin bir sütununda karşılık gelensütunununile çarpılmasıyla gerçekleşir. $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Uyarı bu , yukarıdaki gösterimde, bir köşegen, simetriktir matrisi ve (bu diyagonal olduğu için) ters olan $\mathbf{S}$ $(p+1) \times (p+1)$ Notolan birmatrisi. Diyelim ki Sonra da

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

Bu nedenle,

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$

ve bu çarpılması

çarparak ne benzer bir etkiye sahiptir

ile

yaptı - hariç aynı kalır

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

ile çarpılır

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

:

\frac{1}{c}

$\frac{1}{c}$

Bu

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

istendiği gibi.

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$

— Klarnetçi
kaynak

Bir yanlış bulunmaktadır

. Transpoze etmeniz gerekir

.

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

Şimdiye Kadarki En Önemsiz Kanıt

Doğrusal denkleminizle başlıyorsunuz: Şimdi regresörlerinizin ölçeğini değiştirmek istiyorsunuz, belki metrik sistemden İmparatorluk'a dönüştürebilirsiniz, kilogramı pound, metre ila yard vb. dönüşüm matrisi burada her , tasarım matrisindeki değişkeni (sütun) için dönüşüm katsayısıdır .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Denklemi yeniden yazalım:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Ölçeklemenin, katsayıların tahmininde OLS yöntemi değil, denkleminizin doğrusallığının özelliği olduğu çok açıktır. Ne olursa olsun lineer denklemle tahmin yönteminin size önsavının olarak ölçeklenirken o buna sahip Yeni katsayılar olarak ölçekli edilmelidir $XS$ $S^{-1}\beta$

Sadece OLS için Cebir Kanıtı

: Ölçekleme bu burada , her bir değişken (kolon) ölçek faktörü, ve bir ölçekli versiyonu . Let matris çapraz ölçek çağrı

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$ . İşletme OLS tahmin olan

Let fişi ölçekli matris

yerine

ve bazı kullanma matris cebir :

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

So, yeni katsayı basitçe beklendiği gibi eski katsayı, küçültülmüş nasıl görüyoruz.

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
kaynak

2

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

@whuber, aslında başka bir yol: makul montaj prosedürü bu koşulu karşılamalıdır, aksi takdirde basit bir ölçü birimi değişikliği farklı bir tahmin / tahmin üretecektir. cevabımı güncelleyeceğim, biraz düşüneceğim

— Aksakal

X

$X$

3

imparatorluk arkadaşı, kraliyet değil ...: D (Güzel cevap, +1)

— usεr11852

@ usεr11852, bugün bir şeyler öğrendim :)

— Aksakal

2

$\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

$b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{ben} x_{ben} + . . . + b_{m} x_{m} = {bir}_{1} x_{1} + . . . {bir}_{ben} (c x_{ben}) + . . . + {bir}_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

$b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
kaynak

OLS tahmincisinin ölçek eşdeğeri olduğunu mu gösteriyorsunuz?

En küçük karelerle bağlantı

Şimdiye Kadarki En Önemsiz Kanıt

Sadece OLS için Cebir Kanıtı