Bir GLM taktığımızda neden Fisher skorlaması kullanmayla ilgili büyük bir tartışma yaratıyoruz?


18

Neden GLMS'ye bazı özel optimizasyon problemleriymiş gibi muamele ettiğimizi merak ediyorum. Öyle mi? Bana öyle geliyor ki, bunlar sadece maksimum olasılıktır ve olasılığı yazıyoruz ve sonra ... maksimize ediyoruz! Peki neden uygulamalı matematik literatüründe geliştirilmiş sayısız optimizasyon planı yerine Fisher puanlaması kullanıyoruz?


Anladığım kadarıyla, Fisher puanlamasına dayanan algoritmanın (beklenen Hessian'ı kullanan), normal Newton-Raphson'un (gözlemlenen Hessian'ı kullanan) aksine, katsayı vektörünüzün başlangıç ​​tahminlerine ihtiyacı olmadığı gerçeği ile ilgisi var. yapar ... Bu Fisher puanlama kullanımını daha kolay hale getirir. Ancak bazıları IRLS ile başlayıp Newton-Raphson'a geçerek hibrit algoritmalar kullanıyor. Hardin & Hilbe
Tom Wenseleers

Yanıtlar:


13

Fisher'ın skorlaması, Newton'un GLM'lerle tanımlanmış olan yönteminin sadece bir versiyonudur, Fisher'in bilgi matrisinin üstel ailede rasgele değişkenler bulmak için oldukça kolay olması dışında, bu konuda özel bir şey yoktur. Aynı zamanda, aynı zamanda ortaya çıkma eğilimi gösteren ve Fisher bilgisinin tam olarak ne anlama geldiği hakkında güzel bir geometrik sezgi veren diğer birçok matematik materyali ile de bağlantılıdır.

Önceden var olan bir paketi kullanmak yerine elle kodlamanız gerekebileceğinden başka bir optimizer kullanmamanızı kesinlikle düşünmememin hiçbir nedeni yoktur. Fisher puanlamasının güçlü bir şekilde vurgulanmasının (kilo vermek amacıyla) pedagoji, türetme kolaylığı, tarihsel önyargı ve "burada icat edilmemiş" sendromunun bir kombinasyonu olduğundan şüpheleniyorum.


2
Bunun doğru olduğunu düşünmüyorum - IRLS algoritması beklenen Hessian'ı kullanırken, Newton-Raphson gözlemlenen Hessian'ı kullanıyor - 2 algoritmanın ayrıntılı bir karşılaştırması için gen.lib.rus.ec/… ...
Tom Wenseleers

@TomWenseleers Bir cevapta ayrıntı verebilir misiniz? Bu, beta regresyonunun algoritmik karmaşıklığının, GLM'lerden ayrı bir sorun olarak ele alınmasının nedeni olmadığı anlamına mı geliyor?
Frans Rodenburg

@Frans Rodenburg Beta regresyonuna o kadar iyi değil, ancak standart IRLS yönteminin sadece üstel aileden tek parametreli dağıtımlar için çalıştığına inanıyorum, oysa beta regresyonu 2 parametreli bir üstel dağılım ... Bkz. Stats.stackexchange.com/ sorular / 304538 /… Cox orantılı tehlike ve negatif binom da her biri ek bir parametre olsa da ve onlar değiştirilmiş bir IRLS algo kullanarak uygun olabilir, bu yüzden gerçekten emin değilim ...
Tom Wenseleers

Fisher skorlaması / IRLS'yi beklenen Hessian btw ile kullanmanın diğer avantajı, algo'nun başlatılmasının çok daha kolay olmasıdır - Hardin & Hilbe'nin kitabındaki 3.4 bölümüne bakın. Bu, katsayı vektörünün ilk tahminini yapmanız gereken Newton Raphson ile tezat oluşturuyor, bu biraz zor ... Bazen insanlar hibrit algoritmalar kullanıyor ve Fisher puanlamalı IRLS ile başlıyor ve sonra bazı tekrarlamalar düzenli Newton Raphson'a geçiyor ...
Tom Wenseleers

9

Tarihsel ve pragmatik; Nelder ve Wedderburn tersine mühendislik yapılmış GLM'ler, Fisher puanlamasını kullanarak MLE'yi bulabileceğiniz bir dizi model olarak (diğer bir deyişle Tekrar Ağırlıklı En Küçük Kareler). Algoritma, en azından genel durumda, modellerden önce geldi.

Ayrıca IWLS'nin 70'lerin başında mevcut olan şeyler olduğunu hatırlamakta fayda var, bu nedenle GLM'ler bilmeniz gereken önemli bir model sınıfıydı. Eğer gerçek olabilir GLM maksimize güvenilir da lâmba gibi programlar sayısal optimizasyon becerileri olmayanlar tarafından kullanılması anlamına geliyordu Newton tipi algoritmalar (bunlar genellikle benzersiz Mles var) kullanarak olasılıklardır.


Bunun doğru olduğunu düşünmüyorum - IRLS algoritması beklenen Hessian'ı kullanırken Newton-Raphson gözlemlenen Hessian'ı kullanıyor - 2 algoritmanın ayrıntılı bir karşılaştırması için gen.lib.rus.ec/… ...
Tom Wenseleers
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.