Bir sinir ağı fonksiyonel ve fonksiyonel türevini öğrenebilir mi?

Sinir ağlarının (NN) belirli varsayımlar altında (hem ağda hem de fonksiyonda yaklaşık olarak) hem fonksiyonlara hem de türevlerine evrensel yakınlaştırıcılar olarak kabul edilebileceğini anlıyorum. Aslında, basit ama önemsiz olmayan fonksiyonlar (örneğin polinomlar) üzerinde bir dizi test yaptım ve görünüşe göre onları ve ilk türevlerini iyi tahmin edebiliyorum (bir örnek aşağıda gösterilmiştir).

Bununla birlikte, benim için açık olmayan, yukarıdakilere yol açan teoremlerin fonksiyonellere ve fonksiyonel türevlerine uzanıp uzanmadığıdır (veya belki de genişletilebilir). Örneğin, şu işlevseli düşünün: ve fonksiyonel türev: burada tamamen ve non-trivially bağlıdır . Bir NN yukarıdaki haritalamayı ve fonksiyonel türevini öğrenebilir mi? Daha spesifik olarak, eğer alanı üzerinden ayrılırsa ve giriş olarak (ayrıklaştırılmış noktalarda) ve

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ $f(x)$$g(x)$$x$$[a,b]$$f(x)$$F[f(x)]$çıktı olarak, bir NN bu eşlemeyi doğru öğrenebilir mi (en azından teorik olarak)? Eğer öyleyse, haritalamanın fonksiyonel türevini de öğrenebilir mi?

Birkaç test yaptım ve bir NN gerçekten de haritasını bir dereceye kadar öğrenebilir . Ancak, bu eşlemenin doğruluğu iyi olsa da, büyük değil; ve sıkıntı, hesaplanan fonksiyonel türevin tam bir çöp olmasıdır (her ikisi de eğitim, vb. ile ilgili olabilir). Aşağıda bir örnek gösterilmiştir.$F[f(x)]$

Bir NN bir fonksiyonel ve fonksiyonel türevini öğrenmek için uygun değilse, başka bir makine öğrenme yöntemi var mı?

Örnekler:

Bir NN işlevi öğrenmek için eğitildi: (1) aşağıdaki bir işlev ve türev yaklaşan bir örneğidir aralığında [-3,2] üzerinde: ki makul bir mesafede yaklaşma ortaya çıkacaktır: , NN yaklaşım, beklendiği gibi, Not minimum eğitim sırasında bulunan daha vb gibi, ve ilk türevi, eğitim noktaları NN mimarisi sayısı ile geliştirilmesi$f(x) = x^3 + x + 0.5$d f ( x ) / d x f ( x )$df(x)/dx$$f(x)$

(2) Aşağıdakiler bir işlevselliğe ve onun fonksiyonel türevine yaklaşmak için bir örnektir: Bir NN, işlevini öğrenmek için eğitildi . Eğitim verileri, formunun fonksiyonları kullanılarak elde edildi , burada ve rastgele üretildi. Aşağıdaki grafik, NN'nin gerçekten de oldukça iyi ulaşabildiğini göstermektedir : Bununla birlikte, hesaplanan fonksiyonel türevler tam çöptür; bir örnek (belirli bir ) aşağıda gösterilmiştir: İlginç bir not olarak, NN'nin$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$f ( x ) F [ f ( x ) ]$f(x)$$F[f(x)]$ (örneğin (1) 'de olduğu gibi) eğitim noktası sayısı vb.

Bu iyi bir soru. Bence teorik matematiksel kanıt içeriyor. Bir süredir (yaklaşık bir yıl) Derin Öğrenme (temel olarak sinir ağı) ile çalışıyorum ve okuduğum tüm makalelerden aldığım bilgilere dayanarak, henüz bunun hakkında bir kanıt görmedim. Ancak deneysel kanıt açısından bence geri bildirimde bulunabilirim.

Aşağıda bu örneği ele alalım:

Bu örnekte, çok katmanlı sinir ağı üzerinden, hem f (x) hem de F [f (x)] 'i geri yayılma yoluyla öğrenebileceğine inanıyorum. Bununla birlikte, bu daha karmaşık işlevler veya evrendeki tüm işlevler için geçerli olsun, daha fazla kanıt gerektirir. Ancak, 1000 nesneyi sınıflandırmak için Imagenet yarışması örneğini ele aldığımızda , genellikle çok derin bir sinir ağı kullanılır; en iyi model ~% 5'e kadar inanılmaz bir hata oranı elde edebilir. Böyle derin NN, 10'dan fazla doğrusal olmayan katman içerir ve bu, karmaşık ilişkinin derin ağ yoluyla temsil edilebileceğine dair deneysel bir kanıttır [1 gizli katmanı olan bir NN'nin verileri doğrusal olmayan bir şekilde ayırabileceğini bildiğimiz gerçeğine dayanarak].

Ancak TÜM türevlerin öğrenilip öğrenilemeyeceği daha fazla araştırma gerektiriyordu.

İşlevi ve türevini tamamen öğrenebilecek makine öğrenme yöntemleri olup olmadığından emin değilim. Bunun için üzgünüm.

Sinir ağları , gizli katmanın boyutu sonsuz olduğunda Öklid vektör uzayları arasındaki sürekli eşleşmelere yaklaşık olarak yaklaşabilir . Bununla birlikte, derinlik eklemek genişlikten daha etkilidir. İşlevsel, yalnızca aralığın yani olduğu bir haritadır . Yani evet, nöral ağlar, girdi sonlu boyutlu bir vektör uzayı olduğu ve türevinin ters mod farklılaşması, yani geri çoğaltma ile kolayca bulunabildiği sürece fonksiyonları öğrenebilir. Ayrıca, girdinin nicelenmesi, ağı sürekli işlev girişlerine genişletmenin iyi bir yoludur.R , N = $f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ bu burada $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

$M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Eğitim fonksiyonumuz olarak farklı frekanslarda sinüs ve kosinüs alalım. Hedef vektörün hesaplanması:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Şimdi, regresör matrisi:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Doğrusal regresyon:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$, muhtemelen doğrusal olmayan bir yöntemle, örneğin sinir ağları veya SVM ile öğrenilmeye çalışılabilir, ancak muhtemelen doğrusal durumdaki kadar kolay olmayacaktır.