sinir ağlarını doğrusal olmayan bir sınıflandırma modeli yapan nedir?

Doğrusal olmayan sınıflandırma modellerinin matematiksel anlamını anlamaya çalışıyorum:

Sinir ağlarının doğrusal olmayan bir sınıflandırma modeli olduğu hakkında bir makale okudum.

Ama bunun farkındayım:

İlk katman:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

Sonraki katman

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

Basitleştirilebilir

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

İki katmanlı sinir ağı Sadece basit bir doğrusal regresyon

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

Bu, herhangi bir sayıda tabakaya gösterilebilir, çünkü herhangi bir sayıda ağırlığın doğrusal kombinasyonu yine doğrusaldır.

Bir sinir ağını gerçekten doğrusal olmayan bir sınıflandırma modeli yapan nedir?
Aktivasyon fonksiyonu modelin doğrusal olmamasını nasıl etkiler?
Bana açıklayabilir misin?

Bence sinirsel ağdaki düğümlerde aktivasyon fonksiyonunu unutursunuz , ki bu doğrusal değildir ve tüm modeli doğrusal değildir.

Formülünüzde tam olarak doğru değil, nerede,

$$h_1 \neq w_1x_1+w_2x_2$$

fakat

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

nerede sigmoid işlevi böyle, $\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

Sigmoid fonksiyonunun etkisini açıklamak için sayısal bir örnek kullanalım, sonra sigmoid ( 4 ) = 0.99 olduğunu varsayalım . Diğer taraftan, w 1 x 1 + w 2 x 2 = 4000 , sigmoid ( 4000 ) = 1 olduğunu ve neredeyse doğrusal olmayan sigmoid ( 4 ) ile aynı olduğunu varsayalım .$w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

Ayrıca, bu eğitimdeki slayt 14'ün tam olarak nerede yanlış yaptığınızı gösterebileceğini düşünüyorum . için $H_1$ değil lütfen otuput -7.65 ama değildir $\text{sigmoid}(-7.65)$

Birden fazla doğrusal katmanın tek bir doğrusal katmana eşdeğer olabileceği konusunda haklısınız. Diğer cevapların söylediği gibi, doğrusal olmayan bir aktivasyon fonksiyonu doğrusal olmayan sınıflandırmaya izin verir. Bir sınıflandırıcının doğrusal olmadığını söylemek, doğrusal olmayan karar sınırına sahip olduğu anlamına gelir. Karar sınırı sınıfları ayıran bir yüzeydir; sınıflandırıcı, karar sınırının bir tarafındaki tüm noktalar için bir sınıfı ve diğer taraftaki tüm noktalar için başka bir sınıfı tahmin edecektir.

$y$$h$$w$$b$

$$y = \sigma(hw + b)$$

$\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

Gizli birim aktivasyonlarıyla ilgili olarak sınıflandırma kuralını ele alalım. Gizli birim aktivasyonlarının çizgisine yansıtıldığını görebiliriz$hW + b$$y$

Daha önce karar sınırının doğrusal olmadığını, ancak hiper düzlemin doğrusal sınırın tanımı olduğunu söyledim. Ancak, sınırı çıktıdan hemen önce gizli birimlerin bir fonksiyonu olarak görüyoruz. Gizli ünite aktivasyonları, önceki gizli katmanlar ve doğrusal olmayan aktivasyon fonksiyonları nedeniyle orijinal girişlerin doğrusal olmayan bir fonksiyonudur. Ağ hakkında düşünmenin bir yolu, verileri doğrusal olmayan bir şekilde bazı özellik alanlarına eşlemesidir. Bu alandaki koordinatlar, son gizli birimlerin etkinleştirilmesiyle verilir. Ağ daha sonra bu alanda doğrusal sınıflandırma gerçekleştirir (bu durumda lojistik regresyon). Karar sınırını orijinal girdilerin bir fonksiyonu olarak da düşünebiliriz. Girişlerden gizli birim aktivasyonlarına doğrusal olmayan eşlemenin bir sonucu olarak bu işlev doğrusal olmayacaktır.

Bu blog yazısı , bu sürecin bazı güzel figürlerini ve animasyonlarını gösteriyor.

Doğrusalsızlık sigmoid aktivasyon fonksiyonundan (1 / (1 + e ^ x)) gelir; burada x, sorunuzda referans verdiğiniz öngörücülerin ve ağırlıkların doğrusal kombinasyonudur.

Bu arada, bu aktivasyonun sınırları sıfır ve birdir, çünkü payda fraksiyon sıfıra yaklaşacak kadar büyür veya e ^ x fraksiyon 1/1'e yaklaşacak kadar küçük olur.