Genelleştirilmiş doğrusal modellerle parametre tahmini

Varsayılan olarak glm, R'de bir işlev kullandığımızda , parametrelerin maksimum olasılık tahminini bulmak için yinelemeli olarak yeniden ağırlıklandırılmış en küçük kareler (IWLS) yöntemini kullanır. Şimdi iki sorum var.

1. IWLS tahminleri olabilirlik fonksiyonunun küresel maksimumunu garanti ediyor mu? Bu sunumdaki son slayda dayanarak, öyle olmadığını düşünüyorum! Sadece bundan emin olmak istedim.
2. Yukarıdaki 1. sorunun nedeninin, neredeyse tüm sayısal optimizasyon yöntemlerinin küresel bir maksimumdan ziyade yerel bir maksimumda kalmasından kaynaklandığını söyleyebilir miyiz?

Parametreleri tahmin etmeye çalışırken, daima kapalı bir form çözümü olmasını istersiniz. Bununla birlikte, kişi her zaman mevcut değildir (sanırım bazı durumlarda bir tane olabilir, ancak şu anda bilinmemektedir). Kapalı bir form çözümü mevcut değilse, olası en iyi parametre tahminlerinin kullanılabilmesi için parametre boşluğu üzerinde arama yapmak için bazı sezgisel stratejiler kullanılmalıdır. Birçok tür arama stratejileri (örn içinde vardır R, ? Optim listeleri 6 genel amaçlı yöntemleri). IRWLS, Newton-Raphson algoritmasının basitleştirilmiş bir sürümüdür .

Ne yazık ki, [ 1 ] yanıtınız , küresel minimum (maksimum) bulmak için hiçbir buluşsal arama stratejisinin garanti edilmemesidir. Durumun üç nedeni vardır:

1. Bağlantılı sunumunuzun 9. slaytında belirtildiği gibi, benzersiz bir çözüm bulunmayabilir. Bunun örnekleri mükemmel çoklu doğrusallık olabilir veya tahmin edilebilecek verilerden daha fazla parametre olduğunda .
2. Slayt 10'da belirtildiği gibi (bu sunum oldukça iyi, sanırım), çözüm sonsuz olabilir. Bu, lojistik regresyonda, örneğin mükemmel bir ayrılığa sahip olduğunuzda olabilir .

3. Sınırlı bir küresel minimum (maksimum) olduğu, ancak algoritmanın bunu bulamadığı da olabilir. Bu algoritmalar (özellikle IRWLS ve NR) belirli bir konumdan başlamaya ve bir yöne doğru hareket etmenin 'yokuş aşağı gitmeye' neden olup olmadığını görmek için 'etrafına bakma' eğilimindedir (yani, uyumu arttırır). Eğer öyleyse, o yönde belirli bir mesafeye yeniden sığacak ve tahmin edilen / tahmin edilen iyileşme bir eşikten daha az olana kadar tekrar edecektir. Dolayısıyla, küresel asgari düzeye ulaşmamak için iki yol olabilir:

   1. Mevcut konumdan küresel minimum (maksimum) seviyeye iniş oranı, eşiği aşmak için çok sığdır ve algoritma çözümün altında durur.
   2. Geçerli konum ile global minimum (maksimum) arasında yerel bir minimum (maksimum) vardır, böylece algoritmaya daha fazla hareketin daha da kötüleşmesine neden olacağı görülür .

[ 2 ] ile ilgili olarak, farklı arama stratejilerinin yerel minimuma yakalanma eğilimlerinin farklı olduğunu unutmayın. Hatta aynı strateji bazen ikinci iki soruna yönelik olarak farklı bir başlangıç ​​noktasından uyarlanabilir veya başlatılabilir.

Genel olarak, IWLS'nin, diğer sayısal optimizasyon yöntemleri gibi, yakınsama bile olsa yerel bir maksimuma yakınsamayı garanti edebileceği doğrudur. İşte başlangıç değeri dışında GLM kullandığı algoritmanın yakınsama alanı oldu güzel bir örneği () R. Ancak, buna değer kurallı bağlantı ile GLMs için, olabilirlik içbükey olduğunu belirterek olduğunu görüyoruz burada . Böylece, algoritma yakınsa, küresel moda yakınlaşmış olacak!

Slaytta belirtilen son konu, bir parametre için MLE'nin sonsuz olduğu bir sorundur. Bu, tam bir ayrımın olduğu lojistik regresyonda ortaya çıkabilir. Böyle bir durumda, takılan olasılıkların sayısal olarak 0 veya 1 olduğuna dair bir uyarı mesajı alırsınız. Bu gerçekleştiğinde, algoritmanın moda dönüştürülmediğini, dolayısıyla algoritmanın yerel bir maksimumda sıkışmış.