GLM'deki log olasılığı küresel maksimumlara yakınsamayı garantiledi mi?

Sorularım:

Genelleştirilmiş doğrusal modellerin (GLM'ler) küresel bir maksimuma yaklaşması garanti ediliyor mu? Öyleyse neden?
Ayrıca, konveksliği sağlamak için link fonksiyonunda ne gibi kısıtlamalar vardır?

GLM'leri anladığım, oldukça doğrusal olmayan bir olasılık fonksiyonunu en üst düzeye çıkarmalarıdır. Böylece, birkaç yerel maxima olduğunu ve yakınsama parametre kümesi optimizasyon algoritması için başlangıç koşullarına bağlı olduğunu hayal ediyorum. Bununla birlikte, bazı araştırmalar yaptıktan sonra, birden fazla yerel maksimumun olduğunu gösteren tek bir kaynak bulamadım. Dahası, optimizasyon tekniklerine pek aşina değilim, ancak Newton-Raphson yöntemi ve IRLS algoritmasının yerel maksimuma oldukça eğilimli olduğunu biliyorum.

Mümkünse hem sezgisel hem de matematiksel olarak açıklayınız!

EDIT: dksahuji orijinal soruma cevap verdi, ancak yukarıdaki takip sorusunu [ 2 ] eklemek istiyorum . ("Dışbükeyliği sağlamak için link fonksiyonunda ne gibi kısıtlamalar var?")

— DankMasterDan
kaynak

Bunun olabilmesi için bazı kısıtlamaların gerekli olduğunu düşünüyorum. İfadenin kaynağı nedir?

— Glen_b

Ancak ben de onun geçirmez karşılama açık bir şey bulamadım ancak birkaç site ima gibi görünüyordu!

— DankMasterDan

olasılık alanın her yerinde iyi tanımlanmış olduğu sürece (ve bazı teğetsel sayısal konuları göz ardı ederek) evet diye düşünüyorum. Bu koşullar altında, kendir alanın her yerinde <0'dır, bu nedenle benzerlik küresel içbükeydir. Btw, fonksiyon 'yüksek derecede lineer değil' parametrelerde ve önemli olan da budur.

— user603

@ user603 Kendirin her yerde <0 olduğuna dair kaynağınız / kanıtınız nedir?

— DankMasterDan

Lojistik, Poisson ve Gauss regresyonları genellikle "iyi" bir bağlantı fonksiyonu verildiğinde dışbükeydir. Ancak, keyfi bağlantı işlevi ile bunlar dışbükey değildir.

— Memming

Üstel ailenin tanımı:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

burada günlük bölümleme fonksiyonudur. Şimdi, aşağıdaki üç şeyin 1D durumu için geçerli olduğu kanıtlanabilir (ve daha yüksek boyutlara genelleme yapar - üstel ailelerin veya günlük bölümünün özelliklerine bakabilirsiniz): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Yukarıdaki sonuç nın dışbükey olduğunu kanıtlamaktadır ( pozitif semidefinit olduğu için). Şimdi MLE için olasılık fonksiyonuna bakalım: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Şimdi tetada doğrusaldır ve içbükeydir. Bu nedenle, benzersiz bir küresel maksimum vardır. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Benzer olan kavisli üstel aile adı verilen genelleştirilmiş bir versiyon var. Ancak kanıtların çoğu kanonik formda.

— dksahuji
kaynak

yani bu, GLM'nin hangi bağlantı fonksiyonunun seçildiği (kanonik olmayanlar dahil) benzersiz bir küresel minima nomatterine sahip olduğu anlamına mı geliyor?

— DankMasterDan

Ben algıladığım kadar cevap vermeye çalışacağım.

bahsettiğiniz durumdur. Bu hala içbükey

ama olmayabilir

böylece

bütün günlük olabilirlik içbükey olacak şekilde olmalıdır

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

— dksahuji

Sorunun, sadece varoluştan ziyade yakınsama hakkında sorduğunu, ancak birkaç kısıtlamayla, bunun da mümkün olabileceğini unutmayın.

— Glen_b

@Glen_b Ayrıntılı olabilir misiniz? Böyle bir kısıtlama bilmiyorum. Belki de içbükey işlev durumunda yakınsama garanti etmek için gradyan tabanlı bir iyileştirici adım adım kısıtlamalar gibi bir şey.

— dksahuji

@Glen_b Genel olarak doğru olabilir ama içbükey fonksiyonun küçük tolere edilebilir değer içinde optima'ya yakınsamaması için herhangi bir neden göremiyorum. Ama bunlarla ilgili pratik bir deneyimim olmadığını ve yeni başladım diyebilirim. :)

— dksahuji