Hessian'lar optimizasyon için çok iyiyse (bkz. Newton'un yöntemi ), neden orada durdunuz? Üçüncü, dördüncü, beşinci ve altıncı türevleri kullanalım mı? Neden olmasın?

Soruyu "Newton'un yöntemi neden üçüncü veya daha yüksek türevleri değil, yalnızca birinci ve ikinci türevleri kullanıyor?" Olarak yorumluyorum.

Aslında, çoğu durumda, üçüncü türevine gitmek yardımcı olur; Daha önce özel şeyler yaptım. Ancak, genel olarak, daha yüksek türevlere gidilmesi, hesaplama karmaşıklığı ekler - tüm bu türevleri bulmanız ve hesaplamanız gerekir ve çok değişkenli problemler için, ilk türevlerden çok daha fazla üçüncü türev vardır! - eğer varsa, elde ettiğiniz adım sayısındaki tasarruftan daha ağır basar. Örneğin, eğer 3 boyutlu bir sorunum varsa, 3 birinci türev, 6 ikinci türev ve 10 üçüncü türevim var, bu yüzden yapmam gereken değerlendirme sayısını iki katından daha fazla olan üçüncü dereceden bir sürüme geçiyorum (9'dan 9'a kadar) 19), bu değerlendirmeleri yaptıktan sonra adım yönünü / boyutunu hesaplamanın artan karmaşıklığından bahsetmiyorum bile, ancak neredeyse kesinlikle yarıya atmam gereken adım sayısını kesmeyecek.

Şimdi, genel durumda, değişkenlerinin, toplanması kısmi türev olacak sayıda , bu nedenle, beş değişken üçüncü toplam sayısı ile ilgili bir sorun için dördüncü ve beşinci kısmi türevler, birinci ve ikinci kısmi türevlerin sayısında 10 kat fazla bir artışa (20) 231 eşit olacaktır. Bu ekstra hesaplama yükünü telafi etmek için yineleme sayımlarında yeterince büyük bir düşüş görebilmek için değişkenlerde beşinci dereceden polinomlara çok, çok yakın bir probleminiz olması gerekir.$k$$n^{th}$${k+n-1} \choose {k-1}$

Bu sorunun istatistiksel yönünü gerçekten göremiyorum, bu yüzden optimizasyon bölümüne cevap vereceğim.

Yakınsama için 2 bölüm vardır: yineleme maliyeti ve yineleme sayısı

Hemen hemen her cevap sadece iterasyon maliyetine odaklanmakta ve iterasyon sayısını göz ardı etmektedir . Ama ikisi de önemli. 1 nanosaniye içinde yinelenen, ancak yakınsaması yinelemeyi alan bir yöntem size bir fayda sağlamaz. Üfleyen bir yöntem de yineleme maliyeti ne kadar ucuz olursa olsun yardımcı olmaz.$10^{20}$

Neler olduğunu çözelim.

Öyleyse: Neden> 2. dereceden türevlerini kullanmıyorsunuz?

Kısmen çünkü (ve bu 2. sıra için de geçerlidir, ancak bunun üzerinde biraz daha fazla):

Yüksek dereceli yöntemler genellikle yalnızca optimum seviyeye yakın olduğunda daha hızlı birleşir .

Diğer taraftan, optimum seviyeden uzak olduklarında daha kolay patlarlar!

(Tabii ki, bu her zaman doğru değildir ; örneğin, bir kuadratik Newton'un yöntemiyle 1 adımda birleşir. Fakat gerçek dünyada hoş özelliklere sahip olmayan keyfi fonksiyonlar için, bu genellikle doğrudur.)

Bu, optimum seviyeden uzak olduğunuzda, genellikle düşük dereceli (okuma: birinci dereceden) bir yöntem istediğiniz anlamına gelir . Sadece yakın olduğunuzda yöntemin sırasını arttırmak istersiniz.

Öyleyse neden olan 2 mertebede durağı zaman yakın kökünden?

Çünkü "ikinci dereceden" yakınsama davranışı gerçekten "yeterince iyi" dir!

Nedenini öğrenmek için, ilk olarak ne "kuadratik yakınsama" anlamak zorunda anlamına gelir .

Matematiksel olarak, kuadratik yakınsama araçlarının takdirde, yineleme adresinden hatasıdır , sonra sonunda bazı sabit için de geçerlidir aşağıdaki :$\epsilon_k$$k$$c$

$$\lvert\epsilon_{k+1}\rvert \leq c\ \lvert\epsilon_{k}\rvert^2$$

Düz İngilizce olarak, bu, optimum seviyeye yaklaştığınızda (önemli!), Her ekstra adımın doğruluk rakamını iki katına çıkardığı anlamına gelir .

Niye ya? Bir örnek görmek kolaydır: için ve , sahip , vs olan gülünç hızlı . ( Süper üstel !)$c = 1$$\lvert\epsilon_1\rvert = 0.1$$\lvert\epsilon_2\rvert \leq 0.01$$\lvert\epsilon_3\rvert \leq 0.0001$

Neden 2. dereceden ziyade 1. sırada durmuyorsun?

Aslında, insanlar genellikle ikinci dereceden türevler çok pahalı hale geldiğinde bunu yapar. Ancak doğrusal yakınsama çok yavaş olabilir. Örneğin, eğer o zaman almak için doğrusal yakınsamaya sahip 10.000.000 yinelemeye ihtiyacınız olacak , ancak kuadratik yakınsamaya sahip sadece 23 yinelemeye ihtiyacınız olacak. Öyleyse neden doğrusal ve ikinci dereceden yakınsama arasında ciddi bir fark olduğunu görebilirsiniz . Bu, örneğin 2. ve 3. dereceden yakınsaklık için geçerli değildir (bir sonraki paragrafa bakınız).$\epsilon_k = 0.9999999$$\lvert\epsilon\rvert < 0.5$

Bu noktada, herhangi bir bilgisayar bilimi biliyorsanız, 2. derece yakınsama ile sorunun zaten çözülmüş olduğunu anlıyorsunuzdur . Nedenini görmüyorsanız, işte neden: ikiye katlamak yerine her yinelemedeki rakam sayısını üçe katlamaktan kazanacak pratik hiçbir şey yok - sizi ne alacak? Sonuçta, bir bilgisayarda, bir doublekesin sayı bile 16 ondalık basamaktan oluşan 52 bit hassasiyete sahiptir. Belki de gerekli olan adım sayısını 16'dan 3'e düşürür ... ki bu , her yinelemede, üçüncü boyut türevlerini hesaplamak zorunda kalmanın bedeli olduğunu fark edene kadar , ki bu boyutlandırma lanetisana vurur. Bir İçin boyutlu bir sorun, sadece bir faktör ödenen bir faktör kazanmak için dilsiz olduğunu. Ve gerçek dünyada, sorunların yalnızca değil , en az yüzlerce boyutu (hatta binlerce hatta milyonlarca) var ! Demek ki, 20,000 ... faktörü ödeyerek çok az akıllı bir taksit ödeyerek belki 20 faktör kazanıyorsunuz.$6$$6$$\approx 5$$6$

Fakat yine de: boyutluluğun lanetinin hikayenin yarısı olduğunu hatırlayın .

Diğer yarısı ise , optimum olmaktan uzak olduğunuzda genellikle daha kötü davranışlarda bulunmanız, bu genellikle yapmanız gereken tekrar sayısını olumsuz etkiliyor.

Sonuç

Genel bir ortamda, 2'den yüksek dereceli yöntemler kötü bir fikirdir. Tabii ki, (örneğin belki veri tablonuza ilave yardımcı varsayımları getirebilir eğer yok o zaman belki olduklarını bulabilir, yüksek dereceden polinomu benzemeye veya vb optimum, yerini sınırlayan yollarını var) iyi bir fikir - ancak bu, probleme özgü bir karar olacak ve yaşayacağınız genel bir kural değil.

hesaplamak bile oldukça iştir:

$$H = \begin{bmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex] \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex] \vdots & \vdots & \ddots & \vdots \\[2.2ex] \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.$$

Şimdi üçüncü türevin nasıl göründüğünü görün: Bu üç boyutlu bir matristir. Öğeleri şöyle görünür:

$$\partial H/\partial x=\begin{bmatrix} \dfrac{\partial H}{\partial x_1}\\ \dfrac{\partial H}{\partial x_2}\\ \vdots\\ \dfrac{\partial H}{\partial x_n} \end{bmatrix}$$ $$(\partial H/\partial x)_{ijk}=\dfrac{\partial^3 f}{\partial x_i\partial x_j\partial x_k}$$

Altıncı türev altı boyutlu matris olacaktır:

$$\dfrac{\partial^6 f}{\partial x_i\partial x_j\partial x_k\partial x_l\partial x_m\partial x_n}$$

Genellikle, takas Hessian'dan daha yüksek bir seviyeye çıkmak için uygun değildir. Gürültü amplifikasyonuna karşı daha yüksek dereceli yaklaşımlar kullanarak hızdaki potansiyel kazanım arasındaki dengeyi kast ediyorum. Girdilerde her zaman parazit var çünkü istatistiksel uygulamalardan bahsediyoruz. Bu ses türevler tarafından güçlendirilecektir.

Golf oynarsanız, optimizasyondaki analoji ilk önce yeşile dönmeye çalışırken salınmaktır, bir delik için endişelenmeyin. Bir kere, yeşilin üzerine, bir deliğe nişan alacağız.

Tipik olarak, bu tür algoritmaların etkinliğini analiz ettiğinizde, dördüncü dereceden bir algoritmanın bir aşaması gibi, kabaca bir ikinci dereceden algoritmanın iki aşaması ile aynı etkinliğe sahip sonuçlar bulacaksınız.

Bu nedenle, hangi algoritmanın kullanılacağının seçimi nispeten basittir: dördüncü dereceden algoritmanın bir adımı iki kat daha fazla iş veya ikinci dereceden algoritmanın bir adımından daha fazlasını alıyorsa, bunun yerine ikincisini kullanmalısınız.

Bu tür yöntemler için tipik durum budur: Klasik algoritma, genel problemler için optimum iş-etkililik oranına sahiptir. Daha yüksek dereceli bir yaklaşımın hesaplanması alışılmadık derecede kolay olan ve klasik değişkeni geride bırakan zaman zaman sorunlar olsa da, bunlar nispeten nadirdir.

Türevlerin sırasını, işleve polinom yaklaşımının bir sırası olarak düşünebilirsiniz. Çoğu optimizasyon yordamı dışbükeyliğe dayanır. İkinci dereceden bir polinom her yerde dışbükey / içbükey, üçüncü dereceden veya daha yüksek bir polinom her yerde dışbükey olmayacaktır. Çoğu optimizasyon yordamı, bu nedenle kuadratiklerle dışbükey fonksiyonların art arda yaklaşımlarına dayanır. Dışbükey olan ikinci dereceden bir yaklaşım, ikinci dereceden dışbükey olmak için uygulanacak pozitif bir kesinlik şartı gerektirir.

SGD yakınsama için 3. dereceden yöntemleri savunan tek kişi benim olacağım, ama kesinlikle tüm alanda değil katsayılara ihtiyaç duyacağız , ancak örneğin sadece tek bir yönde, sadece tek bir ek katsayı gerektiren Zaten bu yönde 2. dereceden modeli var.$\approx dim^3/6$

Tek yön 3. dereceden model neden faydalı olabilir? Örneğin, bu doğrultuda sıfıra yakın ikinci türev, temel olarak iki alternatif senaryo anlamına gelir: plato veya bükülme noktası - yalnızca ilki daha büyük adım boyutunu gerektirir ve 3. türev bunları ayırt etmeye izin verir.

Hibrit çok dereceli yöntemlere gideceğimize inanıyorum : düşük dereceli bir alt alanda ikinci dereceden yöntem, örneğin yakın zamandaki gradyanların PCA'sı, hala bu alt alana dik derecenin bir kısmına doğru serbest birinci dereceden eşzamanlı gradyan inişine izin veren ve ... Örneğin, en uygun tek yön için 3. dereceden bir model ekleyeceğim.