Sinir ağlarının maliyet fonksiyonu neden dışbükey değildir?

Burada da benzer bir iş parçacığı var ( Sinir ağının maliyet işlevi dışbükey değil mi? ) Fakat buradaki cevaplardaki noktaları anlayamadım ve bunun tekrar sorulma nedeninin bazı sorunları netleştireceğini umuyorum:

I karesi alınmış farkı maliyet fonksiyonunun toplamı kullanıyorum için, sonuçta formun şey optimize am eğitim aşaması esnasında gerçek etiket değeri olduğu öngörülen etiket değeri. Bunun kare bir şekli olduğundan, dışbükey bir maliyet işlevi olmalıdır. Öyleyse onu bir NN'de dışbükey yapamayan nedir? $\Sigma_{i=1}^{N}(y_i - \hat{y_i})^2$ $y$ $\hat{y}$

— Luca
kaynak

trivially, bunun nedeni

, ve genel olarak herhangi bir fonksiyon dışbükey olacağı garanti vardır

\hat{y} = f (x)

$\hat{y} = f(x)$

— generic_user

gerçekten de dışbükeydir . Ama eğer o dışbükey olmayabilir , en doğrusal olmayan modellerle durum olan ve aslında içinde dışbükeylik önem biz maliyet fonksiyonunu optimize şey bu çünkü üzerinde. $\sum_i (y_i- \hat y_i)^2$ $\hat y_i$ $\hat y_i = f(x_i ; \theta)$ $\theta$ $\theta$

Örneğin, 1 gizli tabakası ile bir ağ düşünelim birimleri ve doğrusal bir çıkış tabakası: bizim fonksiyonudur burada ve (ve basitlik için önyargı terimlerini atlıyorum). nin bir fonksiyonu olarak bakıldığında bu mutlaka dışbükey değildir $N$

g (α, W) = \underset{ben}{Σ} {(y_{ben} - α_{ben} σ (W x_{ben}))}^{2}

$g(\alpha, W) = \sum_i \left(y_i - \alpha_i\sigma(Wx_i)\right)^2$

x_{i} \in R^{p}

$x_i \in \mathbb R^p$

W \in R^{N \times p}

$W \in \mathbb R^{N \times p}$

(α, W)

$(\alpha, W)$ (

bağlı olarak : eğer bir doğrusal aktivasyon işlevi kullanılıyorsa, o zaman bu hala dışbükey olabilir). Ağımız ne kadar derine girerse, dışbükey şeyler de o kadar az olur.

σ

$\sigma$

Şimdi fonksiyonunu tanımlayın , $h : \mathbb R \times \mathbb R \to \mathbb R$ burada olan ile için resim ve , setin . Bu, bu iki ağırlık değiştiği için maliyet fonksiyonunu görselleştirmemize izin verir. $h(u, v) = g(\alpha, W(u, v))$ $W(u,v)$ $W$ $W_{11}$ $u$ $W_{12}$ $v$

$n=50$ $p=3$ $N=1$ $x$ $y$ $\mathcal N(0,1)$

İşte bu rakamı yapmak için kullandığım R kodu (parametrelerin bazıları şimdi yaptığımdan biraz farklı değerlerde olsa da, aynı olmayacaklar):

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))

— JLD
kaynak

Harika cevap; Etkinleştirme işlevlerinden bağımsız olarak, genel olarak dışbükey olmayan anlamına gelen ağırlıkların / gizli birimlerin bir miktar değişimini her zaman bulabileceğimizi düşünüyorum

— information_interchange

@information_interchange teşekkürler, ben de, kesinlikle doğru OP de o yaklaşımı hakkında görüşmelere bağlı olduğunu cevapsın düşünüyorum

— JLD

büyük cevap, fakat eğer MSE yerine MAE kullanıyorsak, neden dışbükey olmayacağını anlamıyorum, dışbükey ve azalan olmayan bir fonksiyonun bileşimi dışbükeydir, bu nedenle MAE varsa, yine de dışbükey fonksiyonumuz olmalı. ilgili W.

— Panda