Armijo kuralı hakkında karışıklık

Satır aramada kullanılan Armijo kuralı hakkında bu karışıklık var. İzleme hattı aramasını tekrar okuyordum ama bu Armijo kuralının ne hakkında olduğunu anlamadım. Herkes Armijo kuralının ne olduğunu açıklayabilir mi? Vikipedi iyi açıklamıyor gibi görünüyor. Teşekkürler

optimization

— user34790
kaynak

Denklemde x değişkeni bir vektör değil bir matris ise ne olur? Armijo kuralı nasıl güncellenmelidir?

— Frank Puk

hiçbirşey değişmez.

matrisinizi bir (sütun) vektörü

şeklinde yeniden şekillendirmeniz gerekir .

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

Takıldığım yer burası. Tüm

bir matris haline, sol taraftaki değeri (

), yine de bir skalerdir. Ancak sağ taraftaki değer değil - bunun yerine, bir matris (

bir skaler ve

bir matristir.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— Frank Puk

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

Yanıtlar:

$p$ $f(x)$

$f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

$f(x_k+\alpha p_k)$ $x_k$ $p_k$

— Paul
kaynak

β

$\beta$

α

$\alpha$

Bunun önemli olmasının nedeni, yani "iyi" bir adımın neden gerekli olduğu, Paul'ün dediği gibi birçok optimizasyon şemasının daha yavaş birleşeceği veya hiç birleşmeyebileceğidir. Bu nedenle, çeşitli çeşitlerde gelen hat aramaları, Armijo sadece en popüler olanıdır - algoritmalara daha sağlam yakınsama özellikleri vermek için kullanılabilir.

— cjordan1

Paul: Açıklamanız eksik. Bu eşitsizlik tek başına 'yeterli' düşüşü garanti etmez. Aslında, alfa = 0 olabilir ve yine de yazdığınız eşitsizliği karşılarsınız. Önemli bir özellik Armijo kuralı, adım boyutunu sıfırdan uzağa bağlamaktır, bu da başka bir eşitsizlikle yapılır: f (gama * x_new) -f (x_old)> beta * (gama * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Beş yıl sonra bu soru hala geçerli.

Burada (sayfa 16 ve 17) bir Algoritma da dahil olmak üzere harika bir açıklama bulabilirsiniz.

— Bojan Hrnkas
kaynak