“Çeviriye Eşdeğer” ile “Çeviriye Değişmeyen” arasındaki fark nedir

38

Ben sorun arasındaki farkı anlamak yaşıyorum çeviri equivariant ve çeviri değişmez .

Derin Öğrenme kitabında . MIT Press, 2016 (I. Goodfellow, A. Courville ve Y. Bengio), evrişimsel ağlarda bulabilirsiniz:

[...] belirli parametre paylaşım biçimi, katmanın çeviriye eşdeğerlik denilen bir özelliğe sahip olmasına neden olur
[...] havuzlama, gösterimin girdilerin küçük çevirileri için yaklaşık olarak değişmez hale gelmesine yardımcı olur

Aralarında fark var mı veya terimler birbirinin yerine kullanılıyor mu?

neural-network deep-learning convolution

— Aamir
kaynak

2

İstatistiğin eski günlerinde, Pitman zamanında olduğu gibi, eşdeğer anlamında da değişmez kullanılmıştır.

— Xi'an

39

Eşdeğerlik ve değişmezlik bazen birbirinin yerine kullanılır. @ Xi'an'ın belirttiği gibi , istatistik literatüründe, örneğin değişmez tahmin edicinin ve özellikle de Pitman tahmincisinin nosyonlarında bulabilirsiniz .

Ancak, ben söz istiyorum hem terimler ayrılmış devam edersek daha iyi olur önek olarak, " in " in değişmez iken, menfi (hiç "hayır varyansı" anlamına gelir) olan " eşit " in equivariant farklılaşan" anlamına gelir benzer veya eşdeğer oranda ". Başka bir deyişle, biri hareket etmiyor, diğeri hareket ediyor .

$I$ $m$ $(x_m,y_m)$ $I'$ $I$ $(u,v)$

$m'$ $I'$ $m'=m$ $(x'_m,y'_m)=(x_m-u,y_m-v)$

Eşdeğerlik için matematikte verilen kesin formülasyonlar, kişinin göz önünde bulundurduğu nesnelere ve dönüşümlere bağlıdır, bu yüzden burada pratikte en sık kullanılan kavramı tercih ediyorum (ve suçu teorik bir bakış açısıyla alabilirim).

$G$ $g$ $f$ $G$ $g$

f (g (I)) = f (I) .

$f(g(I)) = f(I)\,.$

$G'$ $G$ $g$ $g' \in G'$

f (g (I)) = g^{'} (f (I)) .

$f(g(I)) = g'(f(I))\,.$

$g$ $g'$ $G'=G$

Başka bir yaygın tanım şudur:

f (g (I)) = g (f (I)) .

$f(g(I)) = g(f(I))\,.$

$G$ $G'$ $f(I)$ $g(I)$ $g$ $g'$ $g$

Çoğunlukla, insanlar eşitlik kavramı bilinmediğinden veya başkaları değişmezliği kullandığından ve eşitlik kavramı daha bilgili göründüğü için değişmezlik terimini kullanır.

Kayıt için, diğer ilgili kavramlar (özellikle matematik ve fizikte) kovaryans , kontravaryans , diferansiyel değişmezlik olarak adlandırılır .

Ek olarak, çeviri değişmezliği, en azından yaklaşık veya zarf içinde, çeşitli sinyal ve görüntü işleme araçları için bir arayış olmuştur. Özellikle, çok oranlı (filtre bankaları) ve çok ölçekli (dalgacıklar veya piramitler) dönüşümler, son 25 yılda, örneğin değişmez, değişmeyen, döngü bükümlü, sabit, karmaşık, çift ağaçlı bir başlık altında tasarlandı. Dalgacık dönüşümleri (2B dalgacıkları gözden geçirmek için, Çok ölçekli geometrik gösterimler üzerine bir panorama ). Dalgacık, birkaç farklı ölçek değişimini emebilir. Tüm tezler (yaklaşık) değişmezler çoğu zaman dönüştürülmüş katsayıların sayısındaki fazlalık fiyatıyla birlikte gelir. Fakat vardiya değişmez veya vardiya eşdeğer özellikler üretme olasılıkları daha yüksektir.

— Laurent Duval
kaynak

4

Harika! Ayrıntılı cevap için çabalarınızı gerçekten takdir ediyorum @Laurent Duval

— Aamir

24

Terimler farklı:

Çeviriye eşdeğer, giriş özelliklerinin çevirisinin, çıktıların denk çevirisine yol açtığı anlamına gelir. Bu nedenle, girişteki 0,3,2,0,0 şablonunuz çıktıda 0,1,0,0 olarak sonuçlanırsa, 0,0,3,2,0 paterni 0,0,1'e yol açabilir, 0
Çeviriye göre değişmez , girdi özelliklerinin çevirisinin çıktıları hiç değiştirmeyeceği anlamına gelir. Bu nedenle, girişteki 0,3,2,0,0 şablonunuz çıktıda 0,1,0 olur, sonra 0,0,3,2,0 paterni de 0,1,0 olur.

Evrişimli ağlardaki özellik haritalarının kullanışlı olması için, genellikle bazı dengelerde her iki özelliğe de ihtiyaç duyarlar. Eşdeğerlik, ağın farklı konumlarda kenar, doku ve şekil algılamayı genelleştirmesini sağlar. Değişmezlik, tespit edilen özelliklerin kesin konumunun daha az önemli olmasını sağlar. Bunlar, birçok görüntü işleme görevi için iki tamamlayıcı genelleme türüdür.

— Neil Slater
kaynak

Çevrilmiş özellik, bazı katmanlarda çevrilmiş çıktılar verir. Lütfen tespit edilen önemli ölçüde çevrilmiş tüm nesneyi açıklayınız. CNN farklı pozisyonlar içeren görüntülerle eğitilmemiş olsa bile tespit edilebileceği görülüyor mu? Bu durumda eşdeğerlik geçerli midir (değişmezliğe daha çok benziyor)?

— VladimirLenin

@VladimirLenin: Bu soru için detaylandırmanın gerekli olduğunu düşünmüyorum, kesinlikle OP'nin burada istediği bir şey değil. Mümkünse somut bir örnekle ayrı bir soru sormanızı öneririm. Görsel olarak "bütün bir nesne" çevrilmiş olsa bile, bu bir CNN'deki özellik haritalarının beklediğinizle aynı şeyi izlediği anlamına gelmez.

— Neil Slater

4

Sadece 2 kuruş ekledim

$f : I \rightarrow L$ $I$ $L$

$f : I \rightarrow \mathcal{L}$
$f : \mathcal{L} \rightarrow L$

ve aşağıdaki özellikleri kullanarak gerçekleştirilir

Katman Girişinde bir kayma olarak ConvLayer (Uzamsal 2D Convolution + NonLin, örneğin ReLU) ile ilgili mekansal denklik, Katman Çıkışında bir kayma meydana getirir (Not: tek Katlamalı Operatör ile değil, Katmanla ilgilidir)
Havuz İşletmecisi ile ilgili mekansal değişmezlik (örneğin, Max Havuzlama, mekansal konumundan bağımsız olarak alıcı alanındaki maksimum değerin üzerinden geçer)

$I$

$\mathcal{L}$

Ön uçta tamamen bağlı katmanların kullanılması, sınıflandırıcının arka uç yapısına bağlı olarak bir dereceye kadar özellik konumuna duyarlı olmasını sağlar: daha derin ve kullanılan çeviri değişmez operatörü (Havuzlama)

Gösterilmiştir Evrişimsel Sinir Ağları içinde ükler Tercüme-Invariance yerine endüktif önyargı üzerine (mimarlık dolayısıyla derinliği, havuzlama, ...) o veri kümesi önyargı hareket etmeye daha etkilidir (veri büyütme davranmakla CNN Sınıflandırıcı Çeviri değişmezlik artırmak için )

— Nicola Bernini
kaynak