Diyelim ki A, B, C, D, E giriş (tahminci) ve çıkış (yanıt) veri noktalarına sahibiz ve noktalardan bir çizgi sığdırmak istiyoruz. Bu, sorunu göstermek için basit bir sorundur, ancak daha yüksek boyutlara da genişletilebilir.

Sorun bildirimi

Mevcut en iyi uyum veya hipotez yukarıdaki siyah çizgi ile temsil edilir . Mavi ok ( ), noktadan çizgiyle kesişene kadar dikey bir çizgi çizerek, veri noktası ile geçerli en iyi uyum arasındaki dikey mesafeyi temsil eder.$\color{blue}\rightarrow$

Yeşil ok ( ), kesişme noktasında mevcut hipoteze dik olacak ve böylece veri noktası ile mevcut hipotez arasındaki en az mesafeyi temsil edecek şekilde çizilir. A ve B noktaları için, mevcut en iyi tahmine dikey olacak ve x eksenine dikey olan bir çizgiye benzeyecek şekilde çizilmiş bir çizgi. Bu iki nokta için mavi ve yeşil çizgiler çakışır, ancak C, D ve E noktaları için değildir.$\color{green}\rightarrow$

En küçük kareler ilkesi , herhangi bir eğitim döngüsünde veri noktalarından (A, B, C, D veya E) tahmini hipoteze ( ) dikey bir çizgi çizerek doğrusal regresyon için maliyet fonksiyonunu tanımlar ile temsil edilir ve$\color{blue}\rightarrow$

$Cost Function = \sum_{i=1}^N(y_i-h_\theta(x_i))^2$

Burada veri noktalarını ve en uygun temsil eder.h θ ( x i$(x_i, y_i)$$h_\theta(x_i)$

Bir nokta (A, B, C, D veya E) arasındaki minimum mesafe, o noktadan geçerli en iyi tahminde (yeşil oklar) çizilen dikey bir çizgiyle temsil edilir.

En küçük kareler fonksiyonunun amacı, minimize edildiğinde hipotez ile tüm noktalar arasında en az mesafeye yol açacak ancak hipotez ile tek bir giriş noktası arasındaki mesafeyi en aza indirmeyecek objektif bir fonksiyon tanımlamaktır.

**Soru**

Neden lineer regresyon için Maliyet Fonksiyonunu, giriş veri noktasından geçen hipotez (hipoteze dik bir çizgi ile tanımlanır) arasında ( )?$\color{green}\rightarrow$

Hem bağımlı değişkente (dikey hatalar) hem de bağımsız değişkente (yatay hatalar) parazitiniz varsa, en küçük kareler objektif işlevi bu yatay hataları içerecek şekilde değiştirilebilir. Bu iki tür hatanın nasıl ağırlıklandırılacağı sorunu. Bu ağırlıklandırma genellikle iki hatanın varyans oranına bağlıdır:

1. Dikey hatanın sapması, yatay hatanın sapmasına göre aşırı büyükse, OLS doğrudur.
2. Yatay hatanın varyans dikey hatanın varyans son derece büyük görece ise, en küçük kareler (ki burada ters ile gerileyen ve katsayı tahmin tersinin tahmini olarak kullanılan ) uygundur .y y $x$$y$$y$$\beta$
3. Dikey hatanın varyansının yatay hatanın varyansına oranı, bağımlı ve bağımsız değişkenlerin varyanslarının oranına eşitse, tutarlı bir tahminin ortaya çıktığı "diyagonal" regresyon örneğimiz vardır. OLS ve ters en küçük kareler tahmin edicilerinin geometrik ortalaması olmalıdır.
4. Bu hata varyanslarının oranı bir ise, o zaman tahmin çizgisine dik bir çizgi boyunca ölçülen kare hataların toplamının en aza indirildiği "dik" regresyon örneğimiz vardır. Aklınızda olan şey buydu.

Uygulamada, bu prosedürün en büyük dezavantajı, hata varyanslarının oranının genellikle bilinmemesi ve genellikle tahmin edilememesidir, bu nedenle ileriye giden yol net değildir.

Aşırı basitleştirilmiş sürüm X'in herhangi bir hatanın olmadığı varsayılır. Örneğin, çiziminizdeki E noktasına bakarsanız, X koordinatının tam olarak doğru olduğu varsayılır. Tipik olarak bu, X'i kontrol edebildiğimiz, başka bir deyişle belirli bir değere ayarlayabildiğimiz durumdur. Bu durumda, var olabilecek tek hata Y yönündedir ve bu nedenle hata / maliyet işlevi yalnızca Y yönünü içerir.

Durum böyle olmadığında, X ve X'i kontrol etmediğimizde hata olabilir, insanlar X yönünü hata fonksiyonuna tip II veya model II regresyonu ve değişkenleri olarak dahil ederler. X ve Y'nin farklı ölçekleri varsa bunu yapmak zor olabilir, bu yüzden normalleştirmeler ve benzeri düşünmek zorundasınız.

Prosaik olma riski altında, hata fonksiyonunun nedeni, standart yorumun x'in verilmesi ve birinin y bileşenini en iyi şekilde tanımlamaya (veya tahmin etmeye) olmasıdır. Yani 'x' de hata yok. Örneğin, bugünün kapanış fiyatına dayalı olarak yarının bir hisse senedinin kapanış fiyatını anlamaya (veya tahmin etmeye) çalışabilirsiniz. Benzer şekilde, yarının ortalama sıcaklığı bugünün ortalama sıcaklığı açısından da denenebilir ve anlaşılabilir. Açıkçası bu örnekler basit fikirlidir, ama fikir budur. Bu arada çoğu insanın fark etmediği bir şey, ama örneklerinizden net olduğunu düşünüyorum, eğer bir kişi x'e karşı geriliyorsa, regresyon çizgisinin x'in y'ye karşı gerilemesine herhangi bir benzerliği olması gerekmez. Ortogonal regresyon, bir çizgiden noktaların uzaklığını en aza indiren çizgiyi bulmaya çalıştığı regresyon için kullanılan terimdir. Örneğin, IBM hisse senedi fiyatı ile AAPL hisse senedi fiyatı arasındaki ilişkiyi anlamaya çalışıyorsanız, bu uygun yöntem olacaktır.

Noktalardan bir çizgi takarken, dik mesafenin rastgele çizgilere uygulanabilecek en doğal kayıp fonksiyonudur (y-mesafesinin x eksenine dik çizgiler için anlamsız hale geldiğini unutmayın). Bu sorun, "dikey regresyon" veya (en çok kullanılan terim olan AFAIK) "Temel Bileşen Analizi" (PCA) gibi bir dizi isim altında bilinir. Bu sorunun keyfi boyutlarda tartışılması için bkz.

Späth: "Doğrusal manifoldlara uyan dikey en küçük kareler." Numerische Mathematik 48, s.441–445, 1986

@Aginensky'nin daha önce belirttiği gibi, Doğrusal Regresyon'un arkasındaki fikir noktalardan bir çizgiye uymak değil, verilen x değerleri için y değerlerini tahmin etmektir . Bu nedenle tahmin yerinin doğruluğu sadece y cinsinden kullanılır.

Bir eğri uydurma problemini yeniden formüle noktası aracılığıyla , bir kestirim sorun şeyler yapar gibi bir belirleyici olduğundan, karmaşık olduğu bilinmeyen ve hatta bir dereceye İsteğe bağlı olmak üzere . Düz çizgiler dışındaki eğriler için, bu hala aktif araştırmaya tabi bir sorundur. Olası (eksik) yaklaşım, eğri için bir başlangıç ​​tahmini bulmak için bir çözüm sunmadığı için değil, sadece böyle bir ilk tahminin tekrarlı olarak nasıl iyileştirileceği için aşağıdaki makalede açıklanmıştır:$\vec{x}(t)$$\vec{p}_i$$i=1\ldots N$$t$

Wang, Pottmann, Liu: "B-spline eğrilerinin eğrilik temelli kare mesafesi minimizasyonu ile bulutları işaret etmesi." Grafiklerde ACM İşlemleri 25.2, s. 214-238, 2006