“En Küçük Kareler” ve “Doğrusal Regresyon”, eşanlamlılar mı?

En küçük kareler ve doğrusal regresyon arasındaki fark nedir? Aynı şey mi?

regression least-squares terminology

— bbadyalina
kaynak

Sıradan en küçük karelerin daha geniş doğrusal regresyon kategorisindeki bir tahmin yöntemi olduğunu söyleyebilirim . Bazı yazarlar sanki birbirinin yerine geçebilirmiş gibi "en küçük kareler" ve "doğrusal regresyon" kullanıyor olabilirler.

— Matthew Gunn

Normal en küçük kareler yapıyorsanız , bu terimi kullanırdım. Daha az belirsiz.

— Matthew Gunn

Ayrıca bkz . Bir regresyon modeli .

— Richard Hardy

Yanıtlar:

Doğrusal regresyon, bağımsız ve bağımlı değişken arasında doğrusal bir ilişki olduğunu varsayar. Size modelin nasıl monte edildiğini söylemez. En küçük kare bağlantı, olasılıklardan sadece biridir. Doğrusal bir modeli eğitmek için diğer yöntemler açıklamada yer almaktadır.

Doğrusal olmayan en küçük kareler yaygındır ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Örneğin, popüler Levenberg – Marquardt algoritması aşağıdaki gibi bir şeyi çözer:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} Σ_{ben = 1}^{m} {[y_{ben} - f (x_{ben}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

En küçük kareler optimizasyonudur ancak model doğrusal değildir.

Aynı şey değiller .

— Selam Dünya
kaynak

@Student T'nin doğru cevabına ek olarak, en küçük karelerin bir optimizasyon problemi için potansiyel bir kayıp fonksiyonu olduğunu, doğrusal regresyon ise bir optimizasyon problemi olduğunu vurgulamak istiyorum.

Belirli bir veri kümesi verildiğinde, değişkenler arasındaki bağlantıyı açıklayan mümkün olan en iyi doğrusal işlevi bulmak için doğrusal regresyon kullanılır.

Bu durumda "mümkün olan en iyi" bir lineer fonksiyonun tahmin edilen değerleri ile veri setindeki gerçek değerler karşılaştırılarak bir kayıp fonksiyonu belirlenir. En Küçük Kareler olası bir kayıp fonksiyonudur.

En küçük karelerin wikipedia makalesi , sağ tarafta doğrusal regresyon dışındaki diğer problemler için en az kareler kullanarak gösterilen resimleri gösterir:

Konik-uydurma
ikinci dereceden fonksiyonun yerleştirilmesi

Vikipedi makalesinden aşağıdaki gif, en az kareler kullanılarak bir veri kümesine takılan birkaç farklı polinom işlevini gösterir. Bunlardan sadece biri doğrusaldır (1 polinomu). Bu, Alman wikipedia makalesinden konuya alınır.

— Nikolas Rieble
kaynak

Animasyondaki doğrusal olmayan örneklerin parametrelerde hala doğrusal olduğunu iddia edebiliriz.

— Firebug

Doğru, ancak hedef ve giriş değişkeni arasındaki model ilişkisi doğrusal değildir. Henüz uygun "lineer regresyon" diyebilir misiniz? Ben istemem.

— Nikolas Rieble

İkisinde "doğrusal" sıfat farklı şeylere atıfta bulunduğundan, "doğrusal en küçük kareler" ile "doğrusal regresyon" arasında ayrım yapmalıyız. Birincisi, parametrelerde doğrusal olan bir oturuma karşılık gelir ve ikincisi, bağımsız değişken (ler) in doğrusal bir fonksiyonu olan bir modele uydurmayı ifade eder.

— JM,

@JM Birçok kaynak, "lineer" regresyondaki "lineer" in "parametrelerde" lineer "anlamına gelmesini, IV'lerde lineer" olduğunu belirtir. Doğrusal regresyon hakkındaki WIkipedia makalesi buna bir örnektir. İşte başka ve başka . Birçok istatistik metni de aynısını yapar; Bence bu bir kongre.

— Glen_b-Monica'yı

y = m x + b

$y=mx+b$