Degrade inişte sabit adım boyutunu kullanırken adımlarım neden küçülüyor?

Degrade düzgün bir oyuncak örneği yaptığımızı varsayalım , sabit adım boyutu kullanarak ikinci dereceden işlevini en aza . ( )$x^TAx$$\alpha=0.03$$A=[10, 2; 2, 3]$

Her bir yinelemede izini çizersek, aşağıdaki rakamı elde ederiz. Sabit adım boyutu kullandığımızda neden noktalar "daha yoğun" oluyor ? Sezgisel olarak, sabit bir adım boyutuna değil, azalan adım boyutuna benziyor.$x$

---

Not: R Kodu grafik içerir.

A=rbind(c(10,2),c(2,3))
f <-function(x){
  v=t(x) %*% A %*% x
  as.numeric(v)
}
gr <-function(x){
  v = 2* A %*% x
  as.numeric(v)
}

x1=seq(-2,2,0.02)
x2=seq(-2,2,0.02)
df=expand.grid(x1=x1,x2=x2)
contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, 
        levels=c(1,3,5,10,20,40))
grid()

opt_v=0
alpha=3e-2
x_trace=c(-2,-2)
x=c(-2,-2)
while(abs(f(x)-opt_v)>1e-6){
  x=x-alpha*gr(x)
  x_trace=rbind(x_trace,x)
}
points(x_trace, type='b', pch= ".", lwd=3, col="red")
text(x_trace, as.character(1:nrow(x_trace)), col="red")

İzin Vermek $f(x) = \frac 12 x^T A x$ nerede $A$simetrik ve pozitif olarak tanımlanmıştır (bence bu varsayım örneğinize göre güvenlidir). Sonra$\nabla f(x) = Ax$ ve köşegenleştirebiliriz $A$ gibi $A = Q\Lambda Q^T$. Temel değişikliğini kullanın$y =Q^T x$. Sonra elimizde

$$f(y) = \frac 12 y^T \Lambda y \implies \nabla f(y) = \Lambda y.$$

$\Lambda$ çapraz olduğundan güncellemelerimizi

$$y^{(n+1)} = y^{(n)} - \alpha \Lambda y^{(n)} = (I - \alpha \Lambda)y^{(n)} = (I - \alpha \Lambda)^{n+1}y^{(0)}.$$

Bunun anlamı şudur ki $1 - \alpha \lambda_i$ yakınsamayı yönetirsek, ancak yakınsama $|1 - \alpha \lambda_i| < 1$. Senin durumunda

$$\Lambda \approx \left(\begin{array}{cc} 10.5 & 0 \\ 0 & 2.5\end{array}\right)$$ yani $$I - \alpha \Lambda \approx \left(\begin{array}{cc} 0.89 & 0 \\ 0 & 0.98\end{array}\right).$$

Özdeğerli özvektöre karşılık gelen yönde nispeten hızlı bir şekilde yakınsak oluruz $\lambda \approx 10.5$ yinelemelerin paraboloidin daha dik kısmına nasıl hızlı bir şekilde indiği ile görüldüğü gibi, yakınsama daha küçük özdeğer ile özvektör yönünde yavaştır çünkü $0.98$ çok yakın $1$. Yani öğrenme oranı$\alpha$ sabittir, bu yöndeki adımların gerçek büyüklükleri yaklaşık olarak $(0.98)^n$yavaşlar ve yavaşlar. Bu yöndeki ilerlemedeki bu üstel görünümlü yavaşlamanın nedeni budur (her iki yönde de olur, ancak diğer yön fark etmeyecek veya umursamayacağımız kadar yakında kapanır). Bu durumda yakınsama çok daha hızlı olurdu$\alpha$ arttırıldı.

Bunun çok daha iyi ve daha kapsamlı bir tartışması için, https://distill.pub/2017/momentum/ ' ı önemle tavsiye ederim .

Düzgün bir işlev için, $\nabla f=0$ yerel minima.

Çünkü güncelleme şemanız $\alpha \nabla f$, büyüklük $|\nabla f|$adım boyutunu kontrol eder. İkinci dereceden durumunda$|\Delta f|\rightarrow 0$(sadece sizin durumunuzdaki kuadratik kendir'i de hesaplayın). Bunun her zaman doğru olması gerekmediğini unutmayın. Örneğin, aynı şemayı deneyin:$f(x)=x$. O zaman adım büyüklüğünüz her zaman$\alpha$dolayısıyla asla azalmayacaktır. Veya daha ilginç olarak,$f(x,y)=x+y^2$, burada degrade y koordinatında 0'a gider, ancak $x$koordinat. Kuadratik metodoloji için Chaconne'nin cevabına bakınız.