Analitik Jakobyan mevcut olduğunda, daha iyi tarafından Hessian yaklaştığı olan

Diyelim ki toplam kare artıklarını en aza indirdiğim bazı model parametrelerini hesaplıyorum ve hatalarımın Gaussian olduğunu varsayıyorum. Modelim analitik türevler ürettiğinden, optimize edicinin sonlu farklar kullanmasına gerek yoktur. Uyum tamamlandığında, takılan parametrelerin standart hatalarını hesaplamak istiyorum.

Genel olarak, bu durumda, hata fonksiyonunun Hessianı kovaryans matrisi ile ilişkili olarak alınır:

σ^{2} H^{- 1} = C

$\sigma^2 H^{-1} = C$ burada

σ^{2}

$\sigma^2$ artıkların varyansıdır.

Hata ve analitik türevleri mevcut olduğunda bu nedenle, tipik olarak, Hessian hesaplamak için pratik değildir $J^TJ$ iyi bir yaklaşım olarak kabul edilir.

Ancak, benim durumumda, bir analitik J var, bu yüzden sonlu J'yi H ile hesaplamak nispeten ucuz.

Yani, sorum şu: Tam J'yi kullanarak ve yukarıdaki yaklaşımı uygulayarak H'ye yaklaşmak ya da sonlu J'yi sonlandırarak H'ye yaklaşmak daha doğru olur mu?

standard-error fitting

— Colin K
kaynak

İyi soru. Bu yaklaşım burada İlk olarak, geri çağırma gelir. Let Veri puan olması, için model ve için model parametreler. Sonra doğrusal olmayan en küçük kareler sorununun amaç fonksiyonu $H \approx J^T J$ $(x_i, y_i)$ $f(\cdot)$ $\beta$ buradaartıkların vektörüdür,. Amaç fonksiyonunun tam Hessian olan. Dolayısıyla bu yaklaşımdaki hata $\frac{1}{2} r^T r$ $r$ $r_i = y_i - f(x_i, \beta)$ $H = J^T J + \sum r_i \nabla^2 r_i$ $H - J^T J = \sum r_i \nabla^2 r_i$ . Artıklar kendileri küçük olduğunda iyi bir yaklaşımdır; veya tortuların 2. türevi küçük olduğunda. Doğrusal en küçük kareler, artıkların 2. türevinin sıfır olduğu özel bir durum olarak kabul edilebilir.

Sonlu farklar yaklaşımına gelince, nispeten ucuzdur. Merkezi bir farkı hesaplamak için, Jakobiyen ek değerlendirmek gerekir (bir ileri fark size mal olacak defa rahatsız olmaz bu yüzden, ek değerlendirmeler). Merkezi fark yaklaşım hata ile orantılı olduğu ve , adım boyutudur. En uygun adım boyutu $2n$ $n$ $\nabla^4 r$ $h^2$ $h$ , buradamakine kesinlik. Bu nedenle, artıkların türevleri patlamıyorsa, sonlu fark yaklaşımının çok daha iyi olması gerektiği açıktır. Şunu belirtmeliyim ki, hesaplama az olsa da, defter tutma önemsizdir. Jacobian'daki her sonlu fark, her bir artık için size bir Hessian sırası verecektir. Daha sonra yukarıdaki formülü kullanarak Hessian'ı yeniden birleştirmeniz gerekecek. $h \sim \epsilon^\frac{1}{3}$ $\epsilon$

Ancak, üçüncü bir seçenek var. Çözücünüz bir Quasi-Newton yöntemi (DFP, BFGS, Bryoden vb.) Kullanıyorsa, her yinelemede zaten Hessian'a yaklaşmaktadır. Her yinelemede nesnel işlev ve gradyan değerlerini kullandığından yaklaşım oldukça iyi olabilir. Çoğu çözücü, son Hessian tahminine (veya tersine) erişmenizi sağlayacaktır. Bu sizin için bir seçenekse, bunu Hessian'ın tahmini olarak kullanırdım. Zaten hesaplanmış ve muhtemelen oldukça iyi bir tahmin olacak.

— Bill Woessner
kaynak

ϵ^{1 / 3}

$\epsilon^{1/3}$

h

$h$

h

$h$

h^{2} f^{‴} (x)

$h^2 f'''(x)$

\frac{ϵ f (x)}{h}

$\frac{\epsilon f(x)}{h}$

h

$h$

h \sim ϵ^{\frac{1}{3}}

$h \sim \epsilon^\frac{1}{3}$

h \sim ϵ^{\frac{1}{2}}

$h \sim \epsilon^\frac{1}{2}$

h

$h$

h

$h$ h_actual = (x + h_desired) - x

h_{a c t u a l} = h_{d e s i r e d}

$h_{actual} = h_{desired}$

h = 0.0001

$h = 0.0001$

Belki bu içerik yorumlara değil cevabınıza eklenebilir. Bu şekilde, gelecekteki kullanıcıların, doğrudan yanıtta iddialarla ilgili materyal bulmak için genişletilmiş bir yorum bölümünden geçmesi gerekmez.

— Sycorax, Reinstate Monica'ya

Aman tanrım. Hessian'ın bir Quasi-Newton yaklaşımı, Hessian için korkunç bir tahmin olabilir ve bu nedenle kovaryans matrisinin çok zayıf bir tahminiyle sonuçlanır. Algoritmanın optimum seviyeye ilerlemesini kolaylaştırmak iyi olabilir, ancak Hessian'ın bir tahmini olarak oldukça zayıf olabilir.

— Mark L. Stone