Yaklaşık sayısal türev ile Newton-Raphson yaklaşımının sakıncaları

Bazı fonksiyon olduğunu varsayalım $f$ ve ben bulmak istiyorum $x$ , öyle ki $f(x)\approx 0$ . Newton-Raphson yöntemini kullanabilirim. Ancak bu, türev fonksiyonunu gerektirir $f'(x)$ . için analitik bir ifade $f$ mevcut olmayabilir. Örneğin, $f$ , deneysel değerlerin bir veritabanına danışan karmaşık bir bilgisayar kodu parçası ile tanımlanabilir.

Ama bile $f'$ karmaşık, ben yaklaşık edebilirsiniz $f'(a)$ herhangi bir için $a$ az sayıda seçerek $\epsilon$ ve calculting $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$ .

Bu yaklaşımın belirgin dezavantajları olduğunu duydum, ama ne olduklarını bilmiyorum. Wikipedia, "Bu yaklaşımı kullanmak, yakınsama yöntemi Newton'un yönteminden daha yavaş olan sekant yöntemi gibi bir şeyle sonuçlanacağını ima ediyor."

Birisi lütfen bu konuyu ayrıntılı olarak açıklayabilir ve özellikle bu teknikle ilgili sorunları tartışan bir referans sağlayabilir mi?

reference-request approximation

— Mark Dominus
kaynak

Türev yöntemi, türevin hesaplanması pahalı olduğunda mükemmel bir alternatiftir. Üç basamaklı sekant genellikle kabaca iki basamaklı Newton'a eşdeğerdir ve basamaklar daha ucuzdur.

Bir türevi sonlu farkla (önerdiğiniz gibi) sayısal olarak hesapladığınızda, işlevdeki herhangi bir gürültü yükseltilir, bu nedenle epsilonunuzu dikkatlice seçmelisiniz. Bir olasılık, çözüme yaklaştığınızda, f yerel olarak monotonik olduğu sürece yakınsama garanti edilen bir ikili alt bölümleme yöntemine geçmektir.

— Mike Dunlavey

André tarafından belirtildiği gibi, iki noktalı sayısal türevler, önerdiğiniz gibi, yeniden başlatılan Secant yöntemine eşdeğerdir . Daha hızlı yakınlaşma için olsa da, ben sözde öneririm Illinois algoritması Kiriş yöntemin yakın akrabası olduğunu ve sizin durumunuzda iki karşıt olarak, adım başına sadece bir puan kullanacaktır ve benzeri vurulmayacak Yanlış konum yöntemi.

— Pedro

boyutu nedir ? Boyut ne kadar yüksek olursa, bir türev o kadar değerli olur. Jacobian içermeyen Newton-Krylov, açık türevlere ihtiyaç duymayan bir seçenektir (ön koşullandırma, koşulsuz sistemler için önemlidir).

x

$x$

— Jed Brown

Gösterim amacıyla, diyelim ki (yani, bir vektörü girdi olarak alan ve aynı boyutta bir vektörü çıkaran vektör değerli bir işlev). İki endişe vardır: hesaplama maliyeti ve sayısal doğruluk. $f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

Sonlu farklar kullanarak (Jacobian matrisi, veya türevini veya tercih ettiğiniz her şeyi) türevinin hesaplanması fonksiyon değerlendirmesi gerektirecektir . Türevi doğrudan tanımdan kayan nokta aritmetiği kullanarak hesaplayabiliyorsanız, fark katsayısını hesaplamanız gerekir. $\mathrm{D}f(x)$ $J(x)$ $(\nabla f(x))^{T}$ $n$

\begin{aligned} D f (x) e_{i} = lim_{ε \to 0} \frac{f (x + ε e_{i}) - f (x)}{ε} \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$

Her biri için , sen kıtlık deseni bildiğiniz (veya algılayabilir) çünkü (Curtis-Powell-Reid gibi) "akıllı sonlu fark kayıt" herhangi bir tür yapmayın varsayarak . Eğer büyük, o işlev değerlendirmelerin çok olabilir. İçin analitik ifade varsa , o zaman daha ucuz olabilir hesaplanması. Farklılaşma yöntemleri (algoritmik olarak da bilinir) otomatik de hesaplamak için bazı durumlarda kullanılabilir bir işlev değerlendirme yaklaşık 3 ila 5 katı pahasına. $i = 1, \ldots, n$ $\mathrm{D}f$ $n$ $\mathrm{D}f$ $\mathrm{D}f$

Sayısal kaygılar da var. Sıfır gider olarak Açıkçası, bir bilgisayarda, böylece biz yaklaşık ne zaman, bir büyüklük sınırı alamaz , gerçekten alıyoruz "küçük" olması ve hesaplama $\mathrm{D}f$ $\varepsilon$

\begin{aligned} D f (x) e_{i} \approx \frac{f (x + ε e_{i}) - f (x)}{ε}, \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$

burada bu bir yaklaşıklama anlamına gelir ve umarım bu gerçekten iyi bir yaklaşımdır. Kayar nokta aritmetik bu tahminini hesaplanması sen seç çünkü eğer zor çok büyük, senin yaklaştırma kötü olabilir, ama eğer seçerseniz çok küçük, önemli yuvarlama hatası söz konusu olabilir. Bu etkiler, yüzeysel detaylarda sayısal farklılaşma hakkındaki Wikipedia makalesinde ele alınmıştır ; makalede daha ayrıntılı referanslar bulunabilir. $\approx$ $\varepsilon$ $\varepsilon$

Jakobiyen matris hata durumunda çok büyük değildir, Newton Raphson yineleme yakınsar. Ayrıntılı bir teorik analiz için, Nick Higham'ın Sayısal Algoritmalarının Doğruluğu ve Kararlılığı başlıklı Bölüm 25'e veya dayandığı Françoise Tisseur'un makalesine bakınız . $\mathrm{D}f$

$(n = 1)$

— Geoff Oxberry
kaynak