Bir evrişimli sinir ağında son Softmax katmanından önce doğrusal olmama

Evrişimli sinir ağlarını çalışıyorum ve uygulamaya çalışıyorum, ancak bu sorunun genel olarak çok katmanlı algılayıcılar için geçerli olduğunu düşünüyorum.

Ağımdaki çıkış nöronları her sınıfın aktivasyonunu temsil eder: en aktif nöron, belirli bir girdi için öngörülen sınıfa karşılık gelir. Eğitim için çapraz entropi maliyetini göz önünde bulundurmak için, ağın sonuna bir softmax katmanı ekliyorum, böylece her nöronun aktivasyon değeri bir olasılık değeri olarak yorumlanır.

Benim sorum şu: Çıktı katmanındaki nöronlar girdiye doğrusal olmayan bir fonksiyon uygulamalı mıdır? Benim sezgim bunun gerekli olmadığıdır:

• çıkış çıkış nöronuna giriş, bir x vektörü (bir önceki katmandan geliyor) ve o nöron için ağırlıklar θ i arasındaki nokta ürünü x T θ i ise ,$i$$x^T\theta_i$$x$$\theta_i$
• ve eğer sigmoid veya ReLU gibi monotonik doğrusal olmayan bir işlev kullanırsam
• daha sonra daha büyük bir aktivasyon çıkışı hala büyük karşılık gelir böylece doğrusal olmayan fonksiyon tahmini değişiklik olmaz Bu görüş noktasından,.$x^T\theta_i$

Bu yorumda bir sorun mu var? Göz ardı ettiğim, çıktıyı doğrusal olmamasını gerekli kılan bazı eğitim faktörleri var mı?

DÜZENLE

Cevabı temelde "duruma bağlı" olan Karel'in cevabına atıfta bulunarak, ağımın ve şüphemin daha ayrıntılı bir açıklaması:

N gizli katmanım olduğunu ve çıktı katmanımın sınıfları temsil eden bir nöron kümesi üzerinde sadece bir softmax katmanı olduğunu varsayalım (bu yüzden beklenen çıktım, girdi verilerinin her sınıfa ait olma olasılığıdır). İlk N-1 katmanlarının doğrusal olmayan nöronlara sahip olduğu varsayılarak, N-th gizli katmanında doğrusal olmayan lineer nöronların kullanılması arasındaki fark nedir?

Softmax sınıflandırmasından önce son katman için doğrusallık kullanmamalısınız. ReLU doğrusallık (şimdi sadece münhasıran kullanılmaktadır), bu durumda, herhangi bir ek fayda sağlamayacak şekilde bilgileri atacaktır. Uygulamada neler yapıldığına dair bir referans için tanınmış AlexNet'in kafe uygulamasına bakabilirsiniz .

Bir olayın düşük olasılığa sahip olduğunu belirtmek için softmax işlevine negatif bir değer göndermek isteyebilirsiniz. Giriş değerlerini bir relu'ya iletirseniz, ağ relu girdisinin negatif olduğu birimlerden herhangi bir degrade iletmez. Bu nedenle, softmax'ın ifade gücü değişmese de, muhtemelen öğrenmeyi çok daha zorlaştıracaktır.

Cevap evet ya da hayır değil. Bu, ağınızla ilgili beklentilerinize bağlıdır. Muhtemelen çok çeşitli problemler için geçerli olan iyi bir sınıflandırıcıya sahip olmak istediğinizi varsayalım. Bu nedenle, doğrusal olmama önemsiz olmayan sınıfların yakalanmasında yardımcı olabilir. Doğrusalsızlık, yumuşak maks katmandan önceki son katmana dahil edilebilir veya bir önceki katmana dahil edilebilir.