Normal bir denklem kanıtı hakkında soru

Normal denklemlerin: X'in ters çevrilebilir olduğu varsayımı olmadan bir veya daha fazla çözümü olduğunu nasıl kanıtlayabilirsiniz ? $(X^TX)\beta = X^TY$

Benim tek tahminim bunun genelleştirilmiş ters ile bir ilgisi var, ama tamamen kayboldum.

regression proof

— ryati
kaynak

Şaşırtıcı cevaplar yaratan sorular sorarak puan kazanırsınız.

— Nikana Reklawyks

Biri glib olmak için caziptir ve buna işaret eder çünkü ikinci dereceden form

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

pozitif yarı tanımlı ise, minimum olduğu ve minimum olduğu (\ 'ye göre gradyanı sıfıra ayarlayarak ) normal denklemlerle bulunan bir vardır. $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

nereden olursa olsun rütbesinde en az bir çözümü olmalı $X'X$ . Bununla birlikte, bu argüman tamamen cebirsel bir ifade gibi görünen sorunun ruhunda görünmemektedir. Belki de böyle bir denklemin neden bir çözüme sahip olması gerektiğini ve tam olarak hangi koşullar altında olduğunu anlamak önemlidir. Öyleyse baştan başlayalım ve en az kareyle bağlantıyı bilmediğimizi varsayalım.

Her şey anlamını aşağı gelir , bir devrik . Bu, basit bir tanım, uygun gösterim ve cömert olmayan seskilineer form kavramı olarak ortaya çıkacaktır. satırının (her gözlem için bir tane) ve sütunlarının (varsa, bir sabit dahil olmak üzere her değişken için bir tane ) "tasarım matrisi" olduğunu hatırlayın . Bu nedenle vektör uzayı doğrusal bir dönüşüm temsil için . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

Bir devrik bir şekilde bir düşünce, lineer transformasyon , bir lineer dönüşümdür çift boşluk . gibi bir kompozisyonu anlamak için, ile tanımlamak gerekir . Yani her zamanki iç çarpım (karelerinin toplamı) ne yapar. $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

Aslında ve üzerinde tanımlanmış iki iç ürün ve . Bunlar, dejenere olmayan gerçek değerli bilinear simetrik fonksiyonlardır . İkincisi, $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

için benzer ifadelerle . Geometrik olarak, bu iç ürünler uzunluk ve açıyı ölçmemizi sağlar. Durum olarak düşünülebilir için "dik" olmak . Dejenerasyon, sadece sıfır vektörün tüm vektör uzayına dik olduğu anlamına gelir. (Bu genellik aracı Burada elde edilen sonuçlar için geçerli olduğunu genelleştirilmiş en küçük kareler olan ayarlama, zorunlu bileşenleri ürünlerin toplam olarak verilen iç çarpım değildir, ama bazı keyfi dejenere olmayan bir formudur. Bu sakınabileceğini $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ , tanımlamakla birlikte, birçok okuyucunun çift boşluklara aşina veya rahatsız olmasını bekliyorum ve bu yüzden bu formülasyondan kaçınmayı tercih ediyorum.) $g_V$ $X':\mathbb W\to\mathbb V^*$

Eldeki bu iç ürünlerle, herhangi bir doğrusal dönüşümün devrik tarafından tanımlanan ile $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

tüm ve . Aslında bu özelliğe sahip bir vektörü bulunduğundan , ve için tabanlarla bir şeyler yazılarak oluşturulabilir ; bu vektörün benzersiz olduğunu, iç ürünlerin dejenerasyonundan kaynaklanmaktadır. Çünkü ve , olan iki vektörse $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ tüm , o zaman (birinci bileşendeki doğrusallıktan) anlamına gelentüm için. $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

Tüm yazma her vektöre dik tüm vektörlerin kümesi için . Ayrıca gösterimde, yazma meselesi olarak ait görüntü için kümesi olarak tanımlanan . Temel bir ilişki arasında ve devrik olduğu $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

Yani, çekirdeğindedir , ancak ve ancak, eğer görüntü dik . $w$ $X'$ $w$ $X$ Bu iddia iki şey söylüyor:

Eğer , o zaman , tüm için sadece, dik olduğu anlamına gelir . $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
Eğer dik olan sadece araçlarının, , tüm için , ancak bu eşdeğerdir ve dejenerasyonu, anlamına gelir . $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

Aslında şimdi bitti. Analiz doğrudan ürün . Kendisine, herhangi bir sunar rasgele gibi benzersiz bir şekilde mal ile ve . Bu demektir $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ En az bir için formundadır . Dikkat edin, o zaman, $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

Temel ilişki, söz konusu çekirdekte olmak sol tarafta aynıdır diyor : $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

nereden Normal denklemler çözer $\beta$ $X'X\beta = X'y.$

Biz soruya kısa bir geometrik cevap vermek için bir konumda artık (bazı açıklayıcı yorumlarla birlikte): Normal denklemler bir çözüm çünkü herhangi -vector bir vektör toplamı olarak (benzersiz) bozunur yılında aralığı ve ve dik başka bir vektörü en az bir vektörü görüntüsüdür . Görüntünün boyutu ( sıralaması ) $n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ tanımlanabilir parametreler. çekirdeğinin boyutu , parametreler arasındaki önemsiz doğrusal ilişkileri sayar. Tüm parametreler tanımlanabilir bir bire-bir haritasıdır onun görüntüye . $X$ $X$ $\mathbb V$ $\mathbb W$

Bu boşluk ile dökme sonuçta yararlıdır tamamen bölme odası ile tamamen ve iş , matris "sütunu alanı" . Normal denklemler dik çıkıntıya eşittir . Bu bizi kavramsal olarak modelin herhangi bir özel parametrelemesine bağlı kalmaktan kurtarır ve en küçük kareli modellerin nasıl parametrelendirildiklerinden bağımsız olarak içsel bir boyuta sahip olduğunu gösterir . $\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Bu soyut cebirsel gösterinin ilginç bir sonucu, keyfi vektör uzaylarındaki normal denklemleri çözebilmemizdir. Sonuç, örneğin, karmaşık alanlar için, sonlu alanlar üzerindeki (bir karelerin toplamını en aza indirmenin az olduğu) alanlar ve hatta uygun sıralı formları destekleyen sonsuz boyutlu alanlar için geçerlidir.

— whuber
kaynak

Daha sonraya kadar bu yanıtı kabul edecek temsilci hiç yoktu. Ben sadece bunun üzerine tökezledi ve tekrar teşekkür etmek istedim!

— ryati

Ben o kuadratik formu yazardı

yerine olarak

gibi şeyler için ve kullanan diğer oka

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Michael Hardy

@Michael Yorumunuzda tipografik bir hata olmalı. Ne demek istediğini açıklığa kavuşturabilir misin?

— whuber

@whuber: Tipografik bir hata bulamıyorum. Nokta iki ok olmasıdır

farklı anlamlara sahiptir.

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy

@Michael Birçok okumaya rağmen bu ayrımı görmediğim için beni affet. Ne olursa olsun, benim için ilk ok injektif bir fonksiyona, ikincisi ise herhangi bir fonksiyona atıfta bulunur, ancak sanırım niyetiniz bu değildir. Gösterimi açıklamak ister misin?

— whuber

Örnek kümesinde en az iki farklı -değeri (yordayıcı) varsa , tersinin var olduğunu göstermek (kendiniz için rastgele sayıda nokta için deneyin) kolaydır . Tüm veriler varsa sadece aynı değerler (yani, istiflenmiş noktaları dikey bir çizgi boyunca, yönünde), daha sonra herhangi bir hattı, ortalama çekilen , yani rasgele bir eğime (regresyon katsayısı) sahip olacak o zaman LSE regresyon hattının benzersiz olmadığını. $n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
kaynak

Bütünlük için

basit doğrusal regresyon için,

çoklu doğrusal regresyon için.

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

— Lucozade

Yorumdaki çoklu regresyon referansı kafa karıştırıcıdır, çünkü bu cevap sadece bir kişinin daha yüksek boyutlu bir yüzeyden ziyade bir "çizgi" taktığı sıradan regresyon durumunda geçerlidir. Dahası, farklı bir soruyu cevaplamış gibi görünüyorsunuz: bu sadece

tersine çevrilemediği durumu soruyor .

X^{'} X

$X'X$

— whuber

Tipik regresyonda, X sıskadır ve bu nedenle kesinlikle tersine çevrilemez (tersine çevrilebilir olsa da). X'in sıska ve tersine çevrilebilir olması durumunda X ^ T * X'in tersine çevrilebilir olduğunu kanıtlamak (yardıma ihtiyacınız olup olmadığını sormak) kolaydır. Bu durumda, o zaman tam olarak bir çözüm olacaktır. Ve eğer X tam sütun sıralamasına sahip değilse, X ^ T * X tam sıra olmayacaktır ve bu nedenle az belirlenmiş bir sisteminiz olacaktır.

— user542833
kaynak

Bu sözler soruyu ele görünmüyor: bakılmaksızın rütbe

, hala orada olacak mevcut bir çözüm. Örnek olarak,

tüm sıfırların bir matrisi olduğu uç durumu düşünün . Daha sonra normal denklemler

ve herhangi bir

bir çözümdür.

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

— whuber

whuber: tabii ki şu soruyu ele alıyorlar: X tam sütun sırası ise (bahsettiğim gibi) bir

— soln

Sistemin "azımsanmış" olması, hiç bir çözümü olmadığı anlamına gelmez. Soru, çözümlerin varlığıyla ilgilidir.

— whuber