Doğrusal bir regresyonu çözdüğümüzde birden fazla yerel optimum çözüm olabilir mi?

Bu ifadeyi eski bir doğru / yanlış sınavda okudum:

Degrade iniş kullanarak karesi alınmış hataların toplamını en aza indirerek doğrusal bir regresyon problemini çözersek birden fazla yerel optimum çözüm elde edebiliriz.

Çözüm: Yanlış

Sorum şu, bu sorunun hangi kısmı yanlış? Bu ifade neden yanlış?

least-squares gradient-descent convex

— Anjela Minoeu
kaynak

Yanıtlar:

Bu soru, herhangi bir yetenekli istatistik kullanıcısının optimizasyon teorisi, optimizasyon yöntemleri ve istatistiksel yöntemler arasında bazı bağlantıları ortaya çıkardığı sürece ilginçtir. Bu bağlantılar basit ve kolay öğrenilse de, ince ve çoğu zaman göz ardı edilir.

Yorumlardan diğer yanıtlara kadar bazı fikirleri özetlemek gerekirse , "doğrusal regresyon" un sadece teorik olarak değil pratikte de benzersiz olmayan çözümler üretebilmesinin en az iki yolu olduğunu belirtmek isterim.

Tanımlanamazlık

Birincisi, modelin tanımlanamamasıdır. Bu, dışbükey fakat kesin olarak dışbükey olmayan, çoklu çözümlere sahip objektif bir işlev yaratır.

Gerileyen, örneğin, göz önünde $z$ karşı $x$ ve $y$ için (bir yolunu kesmek ile) $(x,y,z)$ verileri $(1,-1,0),(2,-2,-1),(3,-3,-2)$ . Bir çözüm . Diğeri $\hat z = 1 + y$ $\hat z = 1-x$ . Birden fazla çözüm olması gerektiğini görmek için, modeli üç gerçek parametre $(\lambda,\mu,\nu)$ veformdakibir hata terimi ile parametreleştirin $\varepsilon$

z = 1 + μ + (λ + ν - 1) x + (λ - ν) y + ε .

$z = 1+\mu + (\lambda + \nu - 1)x + (\lambda -\nu)y + \varepsilon.$

Artıkların karelerinin toplamı

SSR = 3 μ^{2} + 24 μ ν + 56 ν^{2} .

$\operatorname{SSR} = 3\mu^2 + 24 \mu\nu + 56 \nu^2.$

(Bu, detaylı analizleri okuyabileceğiniz ve işlevin grafiklerini görüntüleyebileceğiniz M-tahmincisinin ampirik kendirinin belirsiz olabilir mi?

Kareler (katsayıları nedeniyle ve ) pozitif ve determinant , bu pozitif-yarı kesin karesel şeklidir pozitiftir . olduğunda minimize , ancak herhangi bir değere sahip olabilir. Amaç fonksiyonu yana bağlı değildir $3$ $56$ $3\times 56 - (24/2)^2 = 24$ $(\mu,\nu,\lambda)$ $\mu=\nu=0$ $\lambda$ $\operatorname{SSR}$ $\lambda$ , onun gradyanı (veya başka türevleri) de yoktur. Bu nedenle, herhangi bir degrade iniş algoritması - eğer bazı keyfi yön değişiklikleri yapmazsa - çözümün değerini başlangıç değeri ne olursa olsun ayarlayacaktır . $\lambda$

Degrade iniş kullanılmasa bile, çözüm değişebilir. In Rgibidir: Örneğin, bu modeli belirlemek için iki kolay, eşdeğer yolu vardır z ~ x + yveya z ~ y + x. İlk verimler , ancak ikinci verir . $\hat z = 1 - x$ $\hat z = 1 + y$

> x <- 1:3
> y <- -x
> z <- y+1

> lm(z ~ x + y)
Coefficients:
(Intercept)            x            y  
          1           -1           NA  


> lm(z ~ y + x)
Coefficients:
(Intercept)            y            x  
          1            1           NA

( NADeğerler sıfır olarak yorumlanmalıdır, ancak birden çok çözümün var olduğu uyarısıyla uyarılmalıdır. Uyarı, Rçözüm yönteminden bağımsız olarak yapılan ön analizler nedeniyle mümkün olmuştur . Degrade iniş yöntemi muhtemelen birden çok çözüm olasılığını algılamaz Her ne kadar iyi bir kişi sizi optimum seviyeye ulaştığına dair bazı belirsizlikler konusunda uyaracaktır.)

Parametre kısıtlamaları

Sıkı dışbükeylik , parametrelerin etki alanı dışbükey olduğu sürece benzersiz bir küresel optimum garanti eder . Parametre kısıtlamaları, dışbükey olmayan alanlar oluşturabilir ve bu da birden çok global çözüme yol açabilir.

Çok basit bir örnek veri için "ortalama" tahmin sorunu tarafından karşılanmaktadır kısıtlamaya tabi . Bu, Ridge Regresyon, Kement veya Elastik Ağ gibi normalleştirme yöntemlerinin tersi bir durumu modeller: bir model parametresinin çok küçük olmaması konusunda ısrar ediyor. (Bu sitede, bu tür parametre kısıtlamalarıyla regresyon problemlerinin nasıl çözüleceğini soran ve pratikte ortaya çıktıklarını gösteren çeşitli sorular ortaya çıkmıştır.) $\mu$ $-1, 1$ $|\mu| \ge 1/2$

Bu örnek için her ikisi de eşit derecede iyi olan en az iki kareli çözüm vardır . Kısıtlamaya tabi en aza indirerek bulunurlar . İki çözelti . Parametre kısıtlama alanı hale getirir, çünkü birden fazla çözelti ortaya çıkabilir $(1-\mu)^2 + (-1-\mu)^2$ $|\mu| \ge 1/2$ $\mu=\pm 1/2$ konveks olmayan: $\mu \in (-\infty, -1/2]\cup [1/2, \infty)$

$$ \ Mu $ ile kareler toplamı grafiği$

Parabol (kesinlikle) dışbükey bir fonksiyonun grafiğidir. Kalın kırmızı kısım alanıyla sınırlı olan kısımdır : en düşük iki noktaya sahiptir , burada kareler toplamı . Parabolün geri kalanı (noktalı olarak gösterilmiştir) kısıtlama ile kaldırılır, böylece benzersiz minimum değeri dikkate alınmaz. $\mu$ $\mu=\pm 1/2$ $5/2$

Bir gradyan iniş yöntemi, muhtemelen "benzersiz" bir çözüm bulmak büyük sıçramalar istekli sürece pozitif bir değer ile başlayan ve aksi takdirde "eşsiz" bir çözüm bulmak $\mu=1/2$ $\mu=-1/2$ olduğunda negatif bir değerle başlayarak.

Aynı durum daha büyük veri kümelerinde ve daha yüksek boyutlarda (yani, sığacak daha fazla regresyon parametresi ile) ortaya çıkabilir.

— whuber
kaynak

Kesinlikle dışbükey olmayan ve sonsuz sayıda minimasyonu olan dışbükey fonksiyonun çok basit bir örneği

çizgisindeki herhangi bir nokta minimum noktadır.

f (x, y) = (x - y)^{2}

$f(x,y) = (x-y)^2$

y = x

$y=x$

— kjetil b halvorsen

@Kjetil Teşekkür ederim, bu doğru. Buradaki hile, bu işlevlerin regresyon durumlarında nasıl ortaya çıktığını göstermektir. Sizin işleviniz tam olarak verdiğim ilk örnek için ilham kaynağı.

— whuber

Görsel bir örnek stats.stackexchange.com/a/151351/171583 .

— ayorgo

Korkarım sorunuza ikili bir cevap yok. Doğrusal regresyon kesinlikle dışbükey ise (katsayılar üzerinde kısıtlama yok, düzenleyici yok vb.), Degrade iniş benzersiz bir çözüme sahip olacak ve küresel optimum olacaktır. Degrade iniş, dışbükey olmayan bir sorununuz varsa birden fazla çözüm getirebilir ve döndürür.

OP doğrusal bir regresyon istemesine rağmen, aşağıdaki örnek doğrusal olmasa da en az kare minimizasyonu gösterir (OP'nin istediği doğrusal regresyona karşı) çoklu çözümlere sahip olabilmesine ve gradyan inişinin farklı bir çözüm getirebilmesine .

Deneysel olarak basit bir örnek kullanarak

Kare hataların toplamı bir süre dışbükey olmayabilir, bu nedenle birden fazla çözümü olabilir
Gradyan iniş yöntemi çoklu çözümler sağlayabilir.

Aşağıdaki sorun için en küçük kareleri en aza indirmeye çalıştığınız örneği düşünün:

enter image description here

burada objektif fonksiyonu en aza indirerek için çözmeye çalışıyorsunuz . Yukarıdaki işlev farklı olmasına rağmen dışbükey değildir ve birden fazla çözüme sahip olabilir. Gerçek değerler ikame aşağıya bakınız. $w$ $a$

$a_{12} =9,a_{13} = 1/9,a_{23}=9,a_{31}=1/9$

$minimize$ ${(9-\frac{w_1}{w_2})^2+(\frac{1}{9}-\frac{w_1}{w_3})^2+(\frac{1}{9}-\frac{w_2}{w_1})^2+(9-\frac{w_2}{w_3})^2+(9-\frac{w_3}{w_1})^2+(\frac{1}{9}-\frac{w_3}{w_2})^2}$

Yukarıdaki sorunun 3 farklı çözümü vardır ve bunlar aşağıdaki gibidir:

$w = (0.670,0.242,0.080),obj = 165.2$

$w = (0.080,0.242,0.670),obj = 165.2$

$w = (0.242,0.670,0.080),obj = 165.2$

As shown above the least squares problem can be nonconvex and can have multiple solution. Then above problem can be solved using gradient descent method such as microsoft excel solver and every time we run we end up getting different solution. since gradient descent is a local optimizer and can get stuck in local solution we need to use different starting values to get true global optima. A problem like this is dependent on starting values.

— forecaster
kaynak

I don't think this answers OP's question because OP asks specifically about linear regression, not optimization in general.

— Sycorax says Reinstate Monica

No it does not, but just trying to make a point on problems with optimizes, will update with caveats

— forecaster

@user777 you are right. this is a very valid question on old exam from MIT. I'm sure the answer is false with thanks to forecastet.

— Anjela Minoeu

so are u sure that I am right?

— Anjela Minoeu

@AnjelaMinoeu, I have updated my response.

— forecaster

This is because the objective function you are minimizing is convex, there is only one minima/maxima. Therefore, the local optimum is also a global optimum. Gradient descent will find the solution eventually.

Why this objective function is convex? This is the beauty of using the squared error for minimization. The derivation and equality to zero will show nicely why this is the case. It is pretty a textbook problem and is covered almost everywhere.

— Vladislavs Dovgalecs
kaynak

Convexity does not imply a unique minimum. Typically you need to appeal to strict convexity of an objective function defined on a convex domain. Also an issue here are the termination criteria for gradient descent using floating point arithmetic: even when the objective function is strictly convex, the algorithm is likely to find different solutions (depending on starting values) when the function is nearly flat near its minimum.

— whuber

@whuber would you please make it simpler and clear for me?

— Anjela Minoeu

@whuber I think the first issue is the use of terminology. Second, convexity does imply a unique minimum. I can't see a differentiable concave function which does not have a single minimum/maximum. See proof here: planetmath.org/localminimumofconvexfunctionisnecessarilyglobal

— Vladislavs Dovgalecs

I haven't bothered to read the proof, because it must invoke strict convexity to be correct. A least-squares problem with unidentifiable coefficients will be convex but not strictly convex, and thereby will have (infinitely) many solutions. But that's not completely relevant to gradient descent, which has its own problems--some of which are clearly discussed in the Wikipedia article. Thus, in both theoretical and practical senses, the correct answer to the question is true: gradient descent can--and will--give multiple solutions.

— whuber

@whuber Yes, the proof appeals to the strict convexity.

— Vladislavs Dovgalecs