Nesnel işlev ile çıktı katmanı etkinleştirme işlevi arasındaki bağlantı ne kadar esnektir?

Çıktı katmanındaki aktivasyon fonksiyonu ile en aza indirilecek objektif fonksiyonu eşleştirmek birçok sinir ağı paketinde standart görünmektedir.

Örneğin, regresyon için kullanılan doğrusal bir çıktı katmanı için, kare şeklinde bir hata objektif fonksiyonuna sahip olmak standarttır (ve genellikle sadece seçimdir). Bir diğer olağan eşleşme, lojistik çıktı ve log kaybı (veya çapraz entropi). Ve yine bir diğeri softmax ve çoklu log kaybı.

Notasyonu kullanarak, $z$ etkinleştirme öncesi değeri için (önceki katmanda gerçekleştirilen etkinliğin ağırlık çarpımlarının toplamı), $a$ aktivasyon için, $y$ eğitim için kullanılan temel hakikat için, $i$ çıkış nöron indeksi için.

• Doğrusal aktivasyon $a_i=z_i$ kare hata ile gider $\frac{1}{2} \sum\limits_{\forall i} (y_i-a_i)^2$

• Sigmoid aktivasyonu $a_i = \frac{1}{1+e^{-z_i}}$ mantık / çapraz entropi hedefi ile gider $-\sum\limits_{\forall i} (y_i*log(a_i) + (1-y_i)*log(1-a_i))$

• Softmax aktivasyonu $a_i = \frac{e^{z_i}}{\sum_{\forall j} e^{z_j}}$ çok sınıflı mantık hedefi ile gider $-\sum\limits_{\forall i} (y_i*log(a_i))$

Bunlar bildiğim şeyler ve umarım hala duymadığım birçok şey var.

Günlük kaybı yalnızca çıktı ve hedefler aralıkta olduğunda işe yarayacak ve sayısal olarak kararlı olacak gibi görünmektedir [0,1]. Bu nedenle, bir lojik objektif fonksiyonu ile doğrusal çıktı katmanını denemek mantıklı olmayabilir. Değerleri ile başa çıkabilen daha genel bir lojik fonksiyon olmadığı sürece$y$ aralığın dışında kalanlar?

Bununla birlikte, sigmoid çıktıyı kare şeklinde bir hata hedefi ile denemek o kadar da kötü görünmüyor. Kararlı olmalı ve en azından birleşmelidir.

Bu eşleşmelerin arkasındaki bazı tasarımların, $\frac{\delta E}{\delta z}$ - nerede $E$nesnel fonksiyonun değeridir - geri yayılım için kolaydır. Fakat yine de bu türevi diğer eşleşmeleri kullanarak bulmak mümkün olmalıdır. Ayrıca, çıktı katmanlarında yaygın olarak görülmeyen, ancak tanhhangi objektif fonksiyonun uygulanabileceği açık olmayan ve mümkün olan başka aktivasyon fonksiyonları da vardır .

Bir sinir ağının mimarisini tasarlarken, "standart dışı" çıkış aktivasyonu ve objektif fonksiyon çiftlerini kullanmanız veya kullanmanız gereken durumlar var mı?

Hangi aktivasyon fonksiyonunu kullandığınız o kadar çok değil, hangi kayıp fonksiyonunu kullanmanız gerektiğini değil, daha çok çıktıdaki yorumunuzun ne olduğunu belirler.

Çıktının bir olasılık olması gerekiyorsa, o zaman log-kayıp gidilecek yoldur.

Çıktı genel bir değerse, ortalama kare hatası varsayılan yoludur. Örneğin, çıktınız gri ölçeği 0 ile 1 arasında bir sayı ile etiketlenmiş gri ölçekli bir pikselse, ortalama bir kare hata objektif işlevine sahip bir sigmoid aktivasyon işlevi kullanmak mantıklı olabilir.