Evrişimsel ağlar için evrensel yaklaşım teoremi

Evrensel yaklaşım teoremi, sinir ağları için oldukça ünlü bir sonuçtur, temelde bazı varsayımlar altında, bir fonksiyonun herhangi bir doğruluk içinde bir sinir ağı tarafından eşit olarak tahmin edilebileceğini belirtir.

Evrişimli sinir ağları için geçerli bazı benzer sonuçlar var mı?

Bu ilginç bir sorudur, ancak evrişimli bir sinir ağı olarak kabul edilen şeyi net bir şekilde açıklamamaktadır .

Ağın bir evrişim işlemi içermesi gereken tek şey midir? O zorunda mı yalnızca dahil evrişim işlemleri? Havuzlama işlemleri kabul ediliyor mu? Pratikte kullanılan evrişim ağları, genellikle tamamen bağlı katmanlar da dahil olmak üzere bir dizi işlem kullanır (tamamen bağlı katmanlara sahip olduğunuzda, teorik evrensel yaklaşım yeteneğiniz vardır).

Size bir cevap vermek için aşağıdaki durumu göz önünde bulundurun: girişleri ve çıkışları ile tam bağlantılı bir katman ağırlık matrisi kullanılarak gerçekleştirilir . Bu işlemi 2 katlamalı katman kullanarak simüle edebilirsiniz:$D$$K$$W \in \mathbb R ^{K\times D}$

1. Birincisi sahip şekil Filtreleri . filtresinin elemanı ye eşittir , geri kalanı sıfırdır. Bu katman, girdiyi -boyutlu ara boşluğa dönüştürür; burada her boyut, bir ağırlığın ürününü ve karşılık gelen girdisini temsil eder.$K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. İkinci katman şeklinde filtreleri içerir . Elemanlar filtresi olanlar, geri kalan sıfırdır. Bu katman, bir önceki katmandaki ürünlerin toplamını gerçekleştirir.$K$$KD$$kD\ldots(k+1)D$$k$

Bu tür evrişimsel ağ, tamamen bağlı bir ağı simüle eder ve böylece aynı evrensel yaklaşım yeteneklerine sahiptir. Böyle bir örneğin pratikte ne kadar yararlı olduğunu düşünmek size kalmıştır, ancak umarım sorunuza cevap verir.

Görünüşe göre bu soru Dmitry Yarotsky'nin son makalesinde olumlu olarak cevaplandırıldı: Değişmez haritaların sinir ağları tarafından evrensel yaklaşımları .

Makale, herhangi bir çeviri eşdeğeri işlevinin, klasik evrensel yaklaşım teoremine doğrudan benzer şekilde yeterince geniş olması nedeniyle, evrişimli bir sinir ağı tarafından keyfi olarak iyi bir şekilde tahmin edilebildiğini göstermektedir.

Kağıt Bkz Derin Evrişimsel Sinir Ağlarının Evrenselliği tarafından Ding Xuan Zhou sinir ağının derinliği yeterince büyük olduğunda olduğundan, bunlar keyfi bir doğrulukla herhangi kesintisiz fonksiyonunu yaklaşık olarak belirleyebilir konvolusyanla sinir ağları evrensel gösterir ki,.