Siyam sinir ağında geri yayılma nasıl çalışır?

İmzaların tanınması için 1994 yılında Yann LeCun ve meslektaşları tarafından sunulan siyam sinir ağının mimarisini inceliyorum ( “Siyam zaman gecikmesi sinir ağı kullanılarak imza doğrulaması” .pdf , NIPS 1994)

Bu mimarinin genel fikrini anladım, ancak bu durumda geri yayılımın nasıl çalıştığını gerçekten anlayamıyorum. Sinir ağının hedef değerlerinin ne olduğunu anlayamıyorum, bu da geri yayılımın her bir nöronun ağırlığını doğru bir şekilde ayarlamasına izin verecektir.

Bu mimaride algoritma, iki sinir ağının son gösterimleri arasındaki kosinüs benzerliğini hesaplar. Kağıt şunları belirtmektedir: "İstenen çıktı, orijinal imzalar sunulduğunda iki alt ağın (f1 ve f2) çıkışları arasında küçük bir açı içindir. ve imzalardan biri sahtecilik ise geniş bir açı ".

Geri-çoğaltmayı çalıştırmak için hedef olarak ikili bir işlevi (iki vektör arasındaki kosinüs benzerliği) nasıl kullanabileceklerini gerçekten anlayamıyorum.

Siyam sinir ağlarında geri yayılım nasıl hesaplanır?

Her iki ağ da benzer mimarileri paylaşır ve ancak bölüm 4'te [1] yayınlandığı gibi aynı ağırlıklara sahip olmaları gerekir.

Amaçları, kosinüs benzerliğini en aza indiren özellikleri, imzalar orijinal olduğunda çıktı vektörlerini öğrenmek ve sahte olduklarında en üst düzeye çıkarmaktır (bu da backprop hedefidir, ancak gerçek kayıp işlevi sunulmaz).

$\cos(A,B) = {A \cdot B \over \|A\| \|B\|}$$A, B$

Çıktı katmanını değiştirmemelisiniz, doğrusal değerlere sahip eğitimli nöronlardan ve girdinizin daha yüksek seviyeli bir soyutlamasından oluşur. Tüm ağ birlikte eğitilmelidir. Her iki çıkış ve bir geçirilir işlevi bu çıkışlar kosinüs benzerlik ( , benzer, ve eğer onlar değilse). Bu göz önüne alındığında ve iki grup giriş teli ( sahip olduğumuz göz önüne alındığında, antrenman yapmak zorunda kalacağınız mümkün olan en basit kayıp fonksiyonuna bir örnek olabilir:$O_1$$O_2$$cos(O_1,O_2)$$1$$0$$X_{Forged}, X_{Genuine}$

sonra, iki çıkışın işlevine ve benzerliklerini kontrol sağlayan iki imzayı girmeniz .$cos(O_1,O_2)$

Son olarak, ağ ağırlıklarını aynı tutmak için bunu yapmanın birkaç yolu vardır (ve Tekrarlayan Sinir Ağlarında da kullanılırlar); yaygın bir yaklaşım, Degrade İniş güncelleme adımını gerçekleştirmeden önce iki ağın gradyanlarını ortalamaktır.

[1] http://papers.nips.cc/paper/769-signature-verification-using-a-siamese-time-delay-neural-network.pdf