Doğrusal regresyonda hangi algoritma kullanılır?

Genelde "sıradan en küçük kareler" hakkında bir şeyler duyarım. Doğrusal regresyon için en yaygın kullanılan algoritma bu mu? Farklı bir tane kullanmak için sebepler var mı?

Başlıktaki soruya ilişkin olarak, kullanılan algoritmanın ne olduğu hakkında:

Doğrusal bir cebir perspektifinde, doğrusal regresyon algoritması, bilinmeyenlerden daha fazla denklem içeren bir doğrusal sistemi çözmenin yoludur . Çoğu durumda bu soruna bir çözüm yoktur. Bunun nedeni vektörünün , sütun alanına ait olmamasıdır .b bir Cı- ( A$\mathbf{A}x=b$$b$$\mathbf{A}$$C(\mathbf{A})$

best straight lineToplam hata verendir bu alır kadar küçük. Kare uzunluğunun küçük olduğunu düşünmek uygundur, , çünkü negatif değildir ve sadece b \ C (\ mathbf {A}) olduğunda 0 olur .$e=\mathbf{A}x-b$$\lVert e \rVert^2$$b\in C(\mathbf{A})$

vektörünü sütun alanındaki en yakın noktaya yansıtmak (dik olarak), sistemi (en iyi düz çizgide yer alan) minimum hatayla çözen vektöre verir .A b $b$$\mathbf{A}$$b^*$

$\mathbf{A}^T\mathbf{A}\hat{x}=\mathbf{A}^Tb \Rightarrow \hat{x}=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

ve yansıtılan vektör şöyle verilir:$b^*$

$b^*=\mathbf{A}\hat{x}=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

Belki de en küçük kareler yöntemi yalnızca kullanılmaz, çünkü bu squaring aykırı değerlere aşırı telafi eder.

Bu algoritmayı kullanarak regresyon problemini çözen basit bir örnek vereyim:

library(fBasics)

reg.data <- read.table(textConnection("
   b      x
  12      0
  10      1
   8      2
  11      3
   6      4
   7      5
   2      6
   3      7
   3      8 "), header = T)

attach(reg.data)

A <- model.matrix(b~x)

# intercept and slope
inv(t(A) %*% A) %*% t(A) %*% b

# fitted values - the projected vector b in the C(A)
A %*% inv(t(A) %*%A ) %*% t(A) %*% b

# The projection is easier if the orthogonal matrix Q is used, 
# because t(Q)%*%Q = I
Q <- qr.Q(qr(A))
R <- qr.R(qr(A))

# intercept and slope 
best.line <- inv(R) %*% t(Q) %*% b

# fitted values 
Q %*% t(Q) %*% b

plot(x,b,pch=16)
abline(best.line[1],best.line[2])

Sorunun mektubunu cevaplamak için, "sıradan en küçük kareler" bir algoritma değildir; aksine, doğrusal regresyonun bir örneği olduğu hesaplamalı doğrusal cebirdeki bir problem türüdür. Genellikle birinin verisine göre ve biçimindeki verilere uyması için geçici bir işlev ("model") vardır. . "baz fonksiyonları" olarak adlandırılır ve monomials her şey olabilir trigonometrik fonksiyonlar (örneğin üzere , ) ve üstel fonksiyonlar ( ). Buradaki "doğrusal regresyon" daki "doğrusal" terimi, temel fonksiyonlara atıfta bulunmaz,$\{(x_1,y_1),\dots,(x_m,y_m)\}$$f(x)=c_1 f_1(x)+\dots+c_n f_n(x)$$f_j(x)$$x^j$$\sin(jx)$$\cos(jx)$$\exp(-jx)$$c_j$, herhangi birine göre modelin kısmi türevini almak size çarparak verir ; yani, .$c_j$$c_j$$f_j(x)$

Bir artık var dikdörtgen matris (genellikle) sütun daha fazla satır olduğunu ( "tasarım matrisi"), ve her bir giriş formu ait , satır dizini olan ve olmak sütun dizini OLS şimdi vektörünü bulma görevidir, miktarını en aza indirir (matris notasyonunda, ; burada, genellikle "yanıt vektörü" olarak adlandırılır).$m\times n$$\mathbf A$$f_j(x_i)$$i$$j$$\mathbf c=(c_1\,\dots\,c_n)^\top$$\sqrt{\sum\limits_{j=1}^{m}\left(y_j-f(x_j)\right)^2}$$\|\mathbf{A}\mathbf{c}-\mathbf{y}\|_2$$\mathbf{y}=(y_1\,\dots\,y_m)^\top$

En küçük kareler çözümlerinin hesaplanmasında pratikte kullanılan en az üç yöntem vardır: normal denklemler, QR ayrışımı ve tekil değer ayrışması. Kısacası, matris matrisini, vektörü için çözmek üzere kolayca manipüle edilebilen bir matris ürününe dönüştürmenin yollarıdır .$\mathbf{A}$$\mathbf{c}$

George, cevabında normal denklem yöntemini çoktan gösterdi; biri sadece doğrusal denklem kümesini çözer$n\times n$

$\mathbf{A}^\top\mathbf{A}\mathbf{c}=\mathbf{A}^\top\mathbf{y}$

için . matrisinin simetrik pozitif (yarı) kesin olması nedeniyle, bunun için kullanılan genel yöntem, etkileyen faktörler olan Cholesky ayrıştırmasıdır. , biçimine , alt üçgen matris ile. Bu yaklaşımla ilgili sorun, tasarım matrisini (genellikle) n'lik bir matris halinde sıkıştırabilmenin avantajına rağmen, bu işlemin önemli rakamların kaybına eğilimli olmasıdır (bu, tasarım matrisinin "koşul numarası" ile yapın).$\mathbf{c}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{G}\mathbf{G}^\top$$\mathbf{G}$$m\times n$$n\times n$

Biraz daha iyi bir yol, doğrudan tasarım matrisiyle çalışan QR ayrışmasıdır. Bu faktörler olarak , ortogonal bir matrisi (onun devrik böyle bir matris çarpımı bir birim matris verir) ve üst üçgendir. daha sonra olarak hesaplanır . Nedenlerle ben (tıpkı herhangi terbiyeli sayısal lineer cebir metin, bkz girmeyeceğim bu bir ), bu normaldir denklemlerin yöntemine göre daha iyi sayısal özellikleri vardır.$\mathbf{A}$$\mathbf{A}=\mathbf{Q}\mathbf{R}$$\mathbf{Q}$$\mathbf{R}$$\mathbf{c}$$\mathbf{R}^{-1}\mathbf{Q}^\top\mathbf{y}$

QR ayrışımının kullanılmasındaki bir değişiklik , seminormal denklemlerin yöntemidir . Kısaca, eğer biri ayrışmasına sahipse, çözülecek doğrusal sistem formu alır.$\mathbf{A}=\mathbf{Q}\mathbf{R}$

Etkili olarak, bu yaklaşımda ' nın Cholesky üçgeni oluşturmak için QR ayrıştırması kullanılıyor . Bu, nın seyrek olduğu ve (veya bunun faktörlü bir versiyonunun) açık bir şekilde depolanması ve / veya oluşturulmasının istenmeyen veya pratik olmadığı durumlarda faydalıdır.$\mathbf{A}^\top\mathbf{A}$$\mathbf{A}$$\mathbf{Q}$

Son olarak, OLS'yi çözmenin en pahalı, ancak en güvenli yolu, tekil değer ayrıştırmasıdır (SVD). Bu kez, , , burada ve her ikisi de dikeydir veA = U Σ V ⊤ U V $\mathbf{A}$$\mathbf{A}=\mathbf{U}\mathbf \Sigma\mathbf{V}^\top$$\mathbf{U}$$\mathbf{V}$$\mathbf{\Sigma}$köşegen girişleri "tekil değerler" olarak adlandırılan köşegen bir matristir. Bu ayrışmanın gücü, size tekil değerler tarafından verilmiş tanısal yeteneğin içinde yatmaktadır, ki eğer biri bir veya daha fazla küçük tekil değer görürse, o zaman tamamen bağımsız olmayan bir temel seti seçmiş olmanız muhtemeldir; senin modelin. (Daha önce belirtilen "koşul sayısı" aslında en büyük tekil değerin en küçük değere oranıyla ilgilidir; tabii ki en küçük tekil değer "minik" ise, elbette ki oran büyüktür (ve matris şartsızdır) .)

Bu sadece bu üç algoritmanın bir taslağıdır; Hesaplamalı istatistik ve sayısal lineer cebir üzerine yazılmış herhangi bir kitap size daha fazla ilgili detay verebilmelidir.

Wiki bağlantısı: Doğrusal Regresyon için Tahmin Yöntemleri, OLS ve alternatif tahmin yöntemlerinin kullanıldığı bağlamları içeren oldukça kapsamlı bir tahmin yöntemleri listesi sunar.

Tanımlar ve terminoloji arasında şaşırtmak kolaydır. Her iki terim de bazen birbirinin yerine kullanılır. Wikipedia'da hızlı arama yardımcı olacaktır:

• Sıradan en küçük kareler
• yıllık regresyon

Sıradan En Küçük Kareler (OLS) doğrusal regresyon modellerine uyması için kullanılan bir yöntemdir. OLS yönteminin gösterilebilir tutarlılığı ve verimliliği (ek varsayımlar altında) nedeniyle, hakim yaklaşımdır. Daha fazla müşteri adayı için makalelere bakın.

'En küçük kareleri' en uygun regresyon çizgisini (yani, 'karesel' artıkların toplamını en az 'yapan en az' olanı) ve bu bağlamda kullanılan algoritmayı 'tanımlamak için bir kriter olarak düşünme eğilimindeyim. bu kriteri sağlayan regresyon katsayılarını belirlemek. Bu ayrım, aynı kriteri karşılayacak farklı algoritmalara sahip olmanın mümkün olduğunu göstermektedir.

Başkalarının bu ayrımı yapıp yapmadığını ve hangi terminolojiyi kullandıklarını bilmek isterim.

Eski bir kitap, ama kendimi defalarca döndüğümde buldum

Lawson, CL ve Hanson, RJ En Küçük Kareler Problemini Çözme , Prentice-Hall, 1974.

Önceki cevapların bahsettiği bazı algoritmaların detaylı ve okunabilir bir tartışmasını içerir. Buna bakmak isteyebilirsin.