Hessen lojistik fonksiyon

Nesnel fonksiyonun Hessian türetmek için zorluk lojistik regresyon, olan: $l(\theta)$ $l(\theta)$

l (θ) = \sum_{i = 1}^{m} [y_{i} \log (h_{θ} (x_{i})) + (1 - y_{i}) \log (1 - h_{θ} (x_{i}))]

$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$

$h_\theta(x)$ bir lojistik işlevdir. Hessian . I hesaplayarak bunu elde etmek için güvenilir , ama o zaman, matris gösterimi krokisi bana belirgin değildi . $X^T D X$ $\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ $\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

Herkes türetmek için temiz ve kolay bir yol biliyor mu ? $X^T D X$

logistic

— DSKim
kaynak

sizin için ne aldın ?

\frac{\partial^{2} l}{\partial θ_{i} \partial θ_{j}}

$\frac{\partial^2 l}{\partial \theta_i \partial \theta_j}$

— Glen_b-Monica'yı geri yükle

Tam aradığınız hesaplamayı gösteren iyi bir slayt kümesi: sites.stat.psu.edu/~jiali/course/stat597e/notes2/logit.pdf

Hessian'ı adım adım hesaplayan harika bir video buldum. Lojistik regresyon (ikili) - Hessian'ın hesaplanması

— Naomi

Burada, çözümün kendi kendine yetmesi için gerekli tüm özellikleri ve kimlikleri türetiyorum, ancak bunun dışında bu türetme temiz ve kolaydır. Notasyonumuzu resmileştirelim ve kayıp fonksiyonunu biraz daha kompakt yazalım. Göz önünde $m$ örnekleri $\{x_i,y_i\}$ , öyle ki $x_i\in\mathbb{R}^d$ ve $y_i\in\mathbb{R}$ . İkili lojistik regresyon biz genellikle hipotez işlevi olduğunu hatırlayın $h_\theta$ lojistik fonksiyon olsun. resmen

h_{θ} (x_{i}) = σ (ω^{T} x_{i}) = σ (z_{i}) = \frac{1}{1 + e^{- z_{i}}},

$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$

burada $\omega\in\mathbb{R}^d$ ve $z_i=\omega^Tx_i$ . Kayıp fonksiyonu (ki OP'lerin negatif bir işaretin eksik olduğuna inanıyorum) daha sonra şöyle tanımlanır:

l (ω) = \sum_{i = 1}^{m} - (y_{i} \log σ (z_{i}) + (1 - y_{i}) \log (1 - σ (z_{i})))

$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$

Gelecekte başvurmak üzere burada türediğim lojistik fonksiyonun iki önemli özelliği vardır. İlk olarak, $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ olduğuna dikkat edin .

Ayrıca şunu da unutmayın

\begin{aligned} \frac{\partial}{\partial z} σ (z) = \frac{\partial}{\partial z} (1 + e^{- z})^{- 1} = e^{- z} (1 + e^{- z})^{- 2} & = \frac{1}{1 + e^{- z}} \frac{e^{- z}}{1 + e^{- z}} = σ (z) (1 - σ (z)) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$

Bileşenlere göre türev almak yerine, burada doğrudan vektörlerle çalışacağız ( burada vektörlerle türevleri inceleyebilirsiniz ). Kayıp fonksiyonu Hessian $l(\omega)$ ile verilir $\vec{\nabla}^2l(\omega)$ ama ilk geri çekme $\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$ ve $\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$ .

Let $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$ . Yukarıda elde ettiğimiz özellikleri ve zincir kuralını kullanma

\begin{aligned} \frac{\partial \log σ (z_{i})}{\partial ω^{T}} & = \frac{1}{σ (z_{i})} \frac{\partial σ (z_{i})}{\partial ω^{T}} = \frac{1}{σ (z_{i})} \frac{\partial σ (z_{i})}{\partial z_{i}} \frac{\partial z_{i}}{\partial ω^{T}} = (1 - σ (z_{i})) x_{i} \\ \frac{\partial \log (1 - σ (z_{i}))}{\partial ω^{T}} & = \frac{1}{1 - σ (z_{i})} \frac{\partial (1 - σ (z_{i}))}{\partial ω^{T}} = - σ (z_{i}) x_{i} \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$

Bunu göstermek artık önemsiz

\vec{\nabla} l_{i} (ω) = \frac{\partial l_{i} (ω)}{\partial ω^{T}} = - y_{i} x_{i} (1 - σ (z_{i})) + (1 - y_{i}) x_{i} σ (z_{i}) = x_{i} (σ (z_{i}) - y_{i})

$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$

vay!

Son adımımız Hessian'ı hesaplamak

{\vec{\nabla}}^{2} l_{i} (ω) = \frac{\partial l_{i} (ω)}{\partial ω \partial ω^{T}} = x_{i} x_{i}^{T} σ (z_{i}) (1 - σ (z_{i}))

$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$

İçin $m$ örnekler elimizdeki $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$ . Bu sütun vektörleri bitiştirme eşdeğerdir $x_i\in\mathbb{R}^d$ bir matris içine $X$ boyutu $d\times m$ , öyle ki $\sum_{i=1}^m x_ix_i^T=XX^T$ . Skalar terimler diyagonal matris içinde bir araya getirilmiştir $D$ şekilde $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$ . Sonunda,

\vec{H} (ω) = {\vec{\nabla}}^{2} l (ω) = X D X^{T}

$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$

Daha hızlı bir yaklaşım, başlangıçtan itibaren tüm numuneler bir kerede düşünülerek ve bunun yerine matris türevleri ile çalışılarak elde edilebilir. Ek bir not olarak, bu formülasyonla $l(\omega)$ nin dışbükey olduğunu göstermek önemsizdir . Let $\delta$ herhangi bir vektör öyle ki $\delta\in\mathbb{R}^d$ . Sonra

δ^{T} \vec{H} (ω) δ = δ^{T} {\vec{\nabla}}^{2} l (ω) δ = δ^{T} X D X^{T} δ = δ^{T} X D (δ^{T} X)^{T} = ‖ δ^{T} D X ‖^{2} \geq 0

$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$

$D>0$ $\|\delta^TX\|\geq 0$ $H$ $l$

— Manuel Morales
kaynak

| | δ D^{1 / 2} X | |

$||\delta D^{1/2}X||$

X D X^{⊤}

$XDX^\top$

X D^{1 / 2} (X D^{1 / 2})^{⊤}

$XD^{1/2}(XD^{1/2})^\top$

X^{T} D X

$X^T D X$