İstatistikçiler için sayısal optimizasyon referansları

İstatistikçilere yönelik sayısal optimizasyon tekniklerine sağlam bir referans (veya referanslar) arıyorum, yani bazı standart çıkarımsal sorunlara (örneğin ortak modellerde MAP / MLE) bu yöntemleri uygulayacağım. Degrade iniş (düz ve stokastik), EM ve spinoffları / genellemeleri, benzetilmiş tavlama vb.

Uygulama hakkında bazı pratik notlar olacağını umuyorum (bu yüzden sıklıkla gazetelerde eksik). Tamamen açık olmak zorunda değildir, ancak en azından sağlam bir kaynakça sağlamalıdır.

Bazı imleç araştırmaları birkaç metin ortaya çıktı: Ken Lange tarafından İstatistikçiler için Sayısal Analiz ve John Monahan tarafından Sayısal İstatistik Yöntemleri. Her birinin yorumları karışık (ve seyrek) görünüyor. İkisinin içindekiler incelendiğinde, Lange'nin kitabının 2. basımının peşimde olduğum şeye en yakın olduğu belirtiliyor.

James Gentle'nin Hesaplamalı İstatistikleri (2009).

James Gentle'ın Matrix cebiri: teori, hesaplamalar ve istatistiklerdeki uygulamalar (2007) , daha çok kitabın sonuna doğru, başlangıç ​​da harika ama tam olarak aradığınız şey değil.

Christopher M. Bishop'un Örüntü Tanıma (2006).

Hastie ve diğerleri. İstatistiksel öğrenmenin unsurları: veri madenciliği, çıkarım ve tahmin (2009).

Bir soruyu cevaplayacak bir metin gibi düşük seviyeli bir şey mi arıyorsunuz: "Matrisleri ve daha yüksek boyutlu dizileri 1-B dizi olarak saklamak neden daha verimli ve bunları her zamanki M (0, 1, 3, ...) yolu mu? " veya "Gradyan inişi, EM, vs. gibi standart algoritmaları optimize etmek için kullanılan bazı yaygın teknikler nelerdir?"

Makine öğrenimi hakkındaki çoğu metin, aradığınız konuların derinlemesine tartışılmasını sağlayacaktır.

Nocedal ve Wrights kitabı

http://users.eecs.northwestern.edu/~nocedal/book/

genel olarak optimizasyon için iyi bir referanstır ve kitaplarındaki birçok şey bir istatistikçinin ilgisini çekmektedir. Doğrusal olmayan en küçük kareler hakkında bir bölüm de vardır.

Optimizasyon , Kenneth Lange (Springer, 2004), JASA'da Russell Steele tarafından gözden geçirildi . Matle Calculus ve Optimization üzerine bir giriş dersi için Gentle'nin Matrix cebiri ile iyi bir ders kitabı, Jan de Leeuw'un kursları gibi (kurslar / 202B).

Bunlara ek olarak, Magnus, JR ve H. Neudecker (2007) 'ı bulabilirsiniz. İstatistik ve Ekonometri Uygulamaları ile Matris Hesabı, ağır da olsa 3. basımda yararlı. Matrislerle sonsuz işlemlerin tam bir tedavisini geliştirir ve daha sonra bunları optimizasyon, MLE ve doğrusal olmayan en küçük kareler gibi bir dizi tipik istatistiksel göreve uygular. Günün sonunda matris algoritmalarınızın geriye doğru kararlılığını bulursanız, matris hesabını iyi kavramak vazgeçilmez olacaktır. Mekansal istatistiklerde ve çok değişkenli parametrik modellerde asimptotik sonuçların elde edilmesinde matris hesabı araçlarını şahsen kullandım.