Geometri ve AI
Matrisler, küpler, katmanlar, yığınlar ve hiyerarşiler topolojileri doğru olarak adlandırabileceğimiz şeydir . Bu bağlamda topolojiyi bir öğrenme sisteminin daha üst düzey geometrik tasarımını düşünün.
Karmaşıklık arttıkça, bu topolojileri yönlendirilmiş grafik yapıları olarak göstermek genellikle yararlıdır. Durum diyagramları ve Markov'un oyun teorisi üzerindeki çalışmaları, yönlendirilmiş grafiklerin yaygın olarak kullanıldığı iki yerdir. Yönlendirilmiş grafikler köşeleri (genellikle kapalı şekiller olarak görselleştirilir) ve kenarları genellikle şekilleri birleştiren oklar olarak görselleştirilir.
Ayrıca GAN'ları yönlendirilmiş bir grafik olarak temsil edebiliriz, burada her ağın çıktısı diğerinin çekişmeli bir şekilde eğitilmesini sağlar. GAN'lar topolojik olarak bir Möbius şeridine benzemektedir.
Yeni tasarımları ve mimarileri, sadece en uygun bir çözüm üzerinde birleşmenin ya da bir çözümün izlenmesinin matematiğini değil, aynı zamanda bu yakınsamayı destekleyebilecek ağ bağlantılarının topolojilerini de anlamadan keşfedemeyiz. Bu, işletim sistemini yazmadan önce bir işletim sisteminin neye ihtiyaç duyacağını hayal ederken bir işlemci geliştirmek gibidir.
DEĞİL DEĞİLDİR hangi topolojileri göz önünde bulundurmak için, önce hangilerinin olduğuna bakalım.
Birinci Adım - İkinci Boyutta Ekstrüzyon
1980'lerde, orijinal perceptron tasarımının genişletilmesiyle başarı elde edildi. Araştırmacılar, çok katmanlı bir sinir ağı oluşturmak için ikinci bir boyut ekledi. Makul bir yakınsama, bir hata fonksiyonunun gradyanının, öğrenme hızları ile azaltılan ve diğer meta parametrelerle sönümlenen aktivasyon fonksiyonlarının gradyanları boyunca geri yayılmasıyla elde edilmiştir.
İkinci Adım - Ayrık Giriş Sinyaline Boyut Ekleme
Ağ girişine boyutlar getiren mevcut manuel olarak ayarlanmış görüntü evrişim tekniklerine dayanan evrişimsel ağların ortaya çıktığını görüyoruz: Dikey konum, renk bileşenleri ve çerçeve. Bu son boyut, çağdaş film yapımında CGI, yüz değiştirme ve diğer morfolojik teknikler için kritik öneme sahiptir. Onsuz, görüntü üretme, kategorileştirme ve gürültü giderme yöntemimiz var.
Üçüncü Adım - Ağ Yığınları
Sinir ağlarının yığınlarının 1990'ların sonlarında ortaya çıktığını ve bir ağın eğitiminin başka bir ağ tarafından denetlendiğini görüyoruz. Bu, ne nöronların sıralı katmanları anlamında ne de bir görüntüdeki renk katmanları anlamında kavramsal katmanların getirilmesidir. Bu tür katmanlar da özyineleme değildir. Daha çok, bir yapının tamamen farklı bir yapı içinde bir organ olduğu doğal dünya gibidir.
Dördüncü Adım - Ağların Hiyerarşileri
Sinir ağları arasındaki etkileşimi sürdüren ve memeli beyin benzetmesini sürdüren 2000'li ve 2010'lu yılların (Laplacian ve diğerleri) ortaya çıkan araştırmalarda sinir ağları hiyerarşilerini sıkça görüyoruz. Artık tüm ağların bir topolojiyi temsil eden yönlendirilmiş bir grafikte köşe noktaları haline geldiği meta yapıyı görüyoruz.
Adım Beş% mdash; Kartezyen Oryantasyondan Kalkışlar
Kartezyen olmayan sistematik olarak tekrarlanan hücre düzenleri ve aralarındaki bağlantılar literatürde ortaya çıkmaya başlamıştır. Örneğin, Gauge Eşdeğer Konvolüsyonel Ağlar ve Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) konveks düzenli bir icosahedron temelli bir düzenlemenin kullanımını inceler.
Özetleme
Katmanlar, bitişik katmanlar arasında kapsamlı bir yönlendirilmiş kenarlar kümesine eşlenen köşeler ve zayıflama matrisleri için sıralı olarak değerli aktivasyon fonksiyonlarına sahiptir [1]. Görüntü kıvrım katmanları genellikle iki boyutlu köşe düzenlemeleri halindedir ve zayıflama küpleri bitişik katmanlar arasında kısaltılmış bir yönlendirilmiş kenarlar kümesine eşlenir [2]. Yığınlar, tüm katmanlı ağları meta-yönlendirilmiş grafikte köşe noktaları olarak içerir ve bu meta-köşe noktaları, her bir kenar bir eğitim meta parametresi, bir takviye (gerçek zamanlı geri bildirim) sinyali veya başka bir öğrenme kontrolü olacak şekilde sırayla bağlanır . Ağların hiyerarşileri, birden fazla kontrolün toplanabileceği ve doğrudan alt seviye öğrenmenin olabileceği fikrini veya birden fazla öğrenme öğesinin bir üst seviye süpervizör ağı tarafından kontrol edilebileceği flip case'i yansıtır.
Öğrenme Topolojilerindeki Eğilimin Analizi
Makine öğrenimi mimarisindeki eğilimleri analiz edebiliriz. Üç topolojik eğilimimiz var.
Nedensellik boyutunda derinlik - Bir aktivasyon katmanının çıktısının, zayıflatma parametreleri (ağırlıklar) matrisinden sonraki katmanın girişine verildiği sinyal işleme katmanları. Daha büyük kontroller kuruldukça, sadece sırt propatagionunda temel gradyan inişinden başlayarak, daha fazla derinlik elde edilebilir.
Giriş sinyali boyutsallığı - Skaler girişten hiper küplere (video yatay, dikey, saydamlık dahil olmak üzere renk derinliğine ve çerçeveye sahiptir - Bunun algılayıcı anlamda giriş sayısı ile aynı olmadığını unutmayın.
Topolojik gelişim - Yukarıdaki ikisi Kartezyen doğadadır. Boyutlar, mevcut boyuta dik açılarda eklenir. Ağlar hiyerarşilerde (Laplacian Hiyerarşilerinde olduğu gibi) ve daireler gibi Möbius şeridinde (GAN'larda olduğu gibi) bağlandığından, eğilimler topografiktir ve en iyi, köşelerin nöron değil, daha küçük ağları olduğu yönlendirilmiş grafiklerle temsil edilir.
Hangi Topolojiler Eksik?
Bu bölüm başlık sorusunun anlamı üzerine genişlemektedir.
- Her biri bir sinir ağını temsil eden çoklu meta-köşelerin, birden çok süpervizör meta-köşesinin birlikte birden çok çalışan meta-köşesini denetleyebileceği şekilde düzenlenmesi için herhangi bir neden var mı?
- Bir hata sinyalinin geri yayılması neden negatif geri beslemenin doğrusal olmayan tek eşdeğeridir?
- Denetimleri temsil eden iki karşılıklı kenarın bulunduğu denetim yerine meta-köşeler arasında işbirliği kullanılamaz mı?
- Sinir ağları esas olarak doğrusal olmayan olayların öğrenilmesinde kullanıldığından, ağların tasarımında veya ara bağlantılarında diğer kapalı yol türlerini neden yasaklar?
- Video kliplerin otomatik olarak kategorize edilebilmesi için resme ses eklenememesinin bir nedeni var mı? Eğer durum buysa, senaryo bir filmin olası bir özellik çıkarımıdır ve senaryoyu oluşturmak ve film stüdyosu sistemi olmadan film üretmek için bir çekişmeli mimari kullanılabilir mi? Bu topoloji yönlendirilmiş bir grafik olarak nasıl görünürdü?
- Ortogonal olarak düzenlenmiş hücreler, dikey olmayan köşelerin ve kenarların rastgele düzenli bir paketleme düzenini taklit edebilse de, kameranın artı veya eksi 90 dereceden başka eğiminin yaygın olduğu bilgisayar görüşünde bunu yapmak etkili midir?
- Doğal dil anlama ve montaj veya yapay bilişe yönelik öğrenme sistemlerinde yapay zeka sistemlerindeki ağlarda veya hücre ağlarında ortogonal olarak tek tek hücreler düzenlemek etkili midir?
notlar
MLP'lerde yapay hücreler, genlik ve yakınlık temelli eşiğe dayanan elektro-kimyasal darbe iletimleri yerine kayan veya sabit nokta aritmetik transfer fonksiyonlarını kullanır. Bunlar nöronların gerçekçi simülasyonları değildir, bu yüzden köşelere nöronlar demek bu tür bir analiz için yanlış bir isim olacaktır.
Görüntü özellikleri ile yakınlardaki pikseller arasındaki göreceli değişiklikler, uzak piksellerden çok daha yüksektir.