Fisher Skorlaması v / s MLE için Koordinat İnişi

R temel işlevi glm()MLE için Fishers Scoring kullanırken glmnet, aynı denklemi çözmek için koordinat iniş yöntemini kullanıyor gibi görünüyor. Koordinat inişi Fisher Scoring'den daha zaman verimlidir, çünkü Fisher Scoring diğer bazı matris işlemlerine ek olarak ikinci dereceden türev matrisini hesaplar. Bu da koordinat inişini aynı görevi O (np) zamanında yapabilir.

R taban fonksiyonu neden Fisher Scoring kullanıyor? Bu yöntemin diğer optimizasyon yöntemlerine göre bir avantajı var mı? Koordinat inişi ve Fisher Puanlaması nasıl karşılaştırılır? Bu alanı yapmak için nispeten yeniyim, bu nedenle herhangi bir yardım veya kaynak yardımcı olacaktır.

Emin olmanın tek yolu kıyaslama yapmaktır, ancak glm için Fisher puanlaması koordinat inişinden daha hızlı olmalıdır. Fisher skorlaması, koordinat inişinden daha hızlı bir yakınsama hızına sahip olan Newton Raphson'un özel bir durumudur (Newton-Raphson, kuadratik olarak yakınsakken, koordinat inişi doğrusal olarak yakınsaktır.) Yani, ikinci türev bilgilerinin hesaplanması her adımın daha fazla zaman aldığı anlamına gelir. zaman, koordinat iniş daha çok daha az adım gerektirebilir.

Kement için, ceza döneminin özel şekli onu çok özel bir durum haline getirir (ve aslında mutlak değer zaten ayırt edilemez, ancak bazen bunu ustalaştırabilirsiniz). Bu özel problem için, koordinat inişi özellikle hızlıdır. Pratikte Newton-Raphson'un daha hızlı olduğu birçok optimizasyon problemi var.