Sıradan en küçük karelerde sıradan nedir?

Bir arkadaşım yakın zamanda sıradan en küçük kareler hakkında neyin sıradan olduğunu sordu. Tartışmada hiçbir yere varamadık. İkimiz de OLS'un lineer modelin özel bir durumu, birçok kullanımı olduğu, iyi bildiği ve diğer birçok modelin özel bir durumu olduğu konusunda anlaştık. Ama hepsi bu kadar mı?

Bu nedenle bilmek istiyorum:

İsim gerçekten nereden geldi?
Adı ilk kullanan kimdi?

— Repmat
kaynak

Sıradan çünkü artık başka varyantlar da var. Ağırlıklı. Güçlü. Doğrusal olmayan. ... Sıradan, başka bir şeyle karıştırılmasını nasıl önlediğinizdir.

— EngrStudent

Tahmin edileceği gibi OLS muhtemelen 1805 AD civarında geliştirilen ilk sayısal uyum algoritmasıdır . Temadaki varyasyonlar geliştirildikten sonra sıradan ad muhtemelen eklenmiştir.

— Carl

En küçük kareler $y$ genellikle sıradan en küçük kareler (OLS) olarak adlandırılır, çünkü 1800 dolaylarında geliştirilen ilk istatistiksel prosedürdür , bkz. tarih . En aza indirgemekle eşdeğerdir. $L_2$ norm, $||Y-f(X)||_2$ . Daha sonra, ağırlıklı en küçük kareler, diğer normların en aza indirilmesi (ör. $L_1$ ), genelleştirilmiş en küçük kareler , M Kestirimi , iki değişkenli minimizasyon (örn. Deming regresyonu), parametrik olmayan regresyon, maksimum olabilirlik regresyonu, regülasyon (örn., Tikhonov, sırt) ve diğer ters problem teknikleri ve diğer birçok araç geliştirilmiştir. Kimin ilk uyguladığı konusunda hala tartışmalar var, Gauss veya Legendre ( bağlantıya bakınız ). "Sıradan" terimi ( $y$ ) çok az sayıda alternatif yöntem ortaya çıktıktan sonra "en küçük karelere" açıkça eklendi (hala en) popüler OLS'nin mevcut hale gelen diğer minimizasyonların bolluğundan ayırt edilmesi gerekiyordu. Tam olarak sıradan eklerken $+$ meydana gelen en küçük karelerin izlenmesi zorlaşır, çünkü bu doğal hale geldiğinde veya açık hale geldiğinde meydana gelir.

— Carl
kaynak

Ayrıca OLS'yi, ağırlıklı kareleri en aza indiren ağırlıklı en küçük kareler olan WLS ile karşılaştırabilirsiniz.

— AdamO

Aslında orada zaten "diğer" normlar altında, örneğin,

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$ ağırlıklı.

— Carl

Bu eski bir soru, eğer doğru hatırlıyorsam, (o zaman) OLS terimini ilk kez kimin kullandığını

— bulmakla ilgileniyordum

Hiç bir şey olmayan minimizasyonu tarif etmek için kullanılan "en küçük kareler" duymadım

L_{2}

$L_2$ norm. (Tikhonov düzenlemesinde kullanılanlar gibi "enerji normlarının"

L_{2}

$L_2$ ) Daha genel bir terim sadece "regresyon" veya belki " M tahmini " olacaktır.

— GeoMatt22

@AdamO'ya katılıyorum, sıradan ve ağırlıklı * muhtemel kontrast gibi görünüyor. (* Aksine, "Genelleştirilmiş" . Hesaplamalı bilimde bunun hala ağırlıklı olarak adlandırılacağını düşünüyorum? Bir ağırlık matrisinin neden çapraz olması gerekir?)

— GeoMatt22