Sinir ağlarında aktivite vektörü nedir?

Hinton'un "Kapsüller Arasında Dinamik Yönlendirme" adlı yeni makalesini okuyordum ve özette "aktivite vektörü" terimini anlamadım.

Bir kapsül, aktivite vektörü bir nesne veya nesne parçası gibi belirli bir varlık türünün örnekleme parametrelerini temsil eden bir nöron grubudur. Faaliyet vektörünün uzunluğunu, işletmenin var olma olasılığını temsil etmek için ve onun yönlendirme örneklerini temsil parametrelerini temsil etmek için kullanırız. Bir seviyedeki aktif kapsüller, daha yüksek seviyedeki kapsüllerin örnekleme parametreleri için dönüşüm matrisleri aracılığıyla tahminler yapar. Birden fazla tahmin kabul edildiğinde, daha yüksek bir kapsül aktif hale gelir. Ayrımcı bir şekilde eğitilmiş, çok katmanlı bir kapsül sisteminin MNIST üzerinde son teknoloji performansa ulaştığını ve üst üste binen basamakları tanımada evrişimsel bir ağdan önemli ölçüde daha iyi olduğunu gösteriyoruz. Bu sonuçları elde etmek için anlaşmalı bir anlaşmalı yönlendirme mekanizması kullanıyoruz:

https://arxiv.org/pdf/1710.09829.pdf

Ben bir vektör ağ üzerinden çalışan bir veri dizisi gibi olduğunu düşündüm.

Andrew Ng'in derin öğrenme kursunda çalışmaya başladım ama hepsi yeni ve terimler kafamın üzerinde.

Geleneksel bir sinir ağında, ağ köşeleri nöronlardır ve tek bir nöronun çıkışı tek bir değerdir (bir " skaler "). Bu sayıya aktivasyonu denir . Bir tabaka, ağ nöronların aktivasyonlannın vektör verir. Bunu bir Kapsül Ağındaki aktivite vektörleriyle karıştırmamalıyız.

Kapsül Ağları farklıdır, çünkü ağ köşeleri nöronlardan ziyade Kapsüllerdir. Daha yüksek boyutludurlar: Bir Kapsülün çıkışı bir skaler değil , girişle ilgili bir grup parametreyi temsil eden bir vektördür . Dolayısıyla isim aktivasyon vektörü .

Motivasyon

Bir sinir ağında nöronların skaler çıktıları arasında doğal bir yapı yoktur, bu aşağıdaki katmanların öğrenmesi gereken bir şeydir. Kapsül Ağlarında, bir kapsülün çıktısı, daha derin katman Kapsüllerinin aktivasyonu için bir tahmin de dahil olmak üzere, bir vektörde bununla ilgili tüm parametreleri temsil eder. Bu yararlı bir yerel yapı ekler.

Örneğin, yüz tanımayı düşünün. Gözleri nasıl tanıyacağınızı bilen bir kapsülünüz varsa, örneğin " p = 0.97 olasılığı olan bir göz pozisyonunu (x, y) tanıdığımdan dolayı tüm yüz için parametrelerin (f1, ... fn) ".

Kapsüller Arasındaki Dinamik Yönlendirme belgesinde açıklandığı gibi, bu bilgilere atıfta bulunarak, önceki katmanlardaki kapsüllerin (parçalar: göz, ağız, burun) daha derin katmanların (yüz) aktivasyonlarını öngörme biçiminde kullanıldığı anlamına gelir. Örneğin, bir yüz tanıyıcı yalnızca göz, burun ve ağız tanıyıcılar (parçalar) ile yüz tanıyıcı (bütün) arasında yüzün bulunduğu yer ( (f1, ... fn ) arasında anlaşma olduğunda güçlü bir şekilde etkinleştirilir. ) parametreleri).

Tarihsel İlham

SIFT gibi daha eski bilgisayar görme algoritmaları , tanıma işleminin çok boyutlu özelliklerin yapılandırması (anahtar noktalar) ile referans yapılandırma arasında anlaşmaya dayalı olduğu şekilde çalışır.

"Kapsüldeki nöronların aktivasyon vektörü" gibi bir şey demek istedim. Belirli bir nöron için aktivasyon , aktivasyon fonksiyonundan (sigmoid, relu, vb.) Geçirilen girdilerinin ağırlıklı toplamıdır .