Sinir ağları verimli kodlama kullanıyor mu?

Sorum, Wikipedia sayfasında verimli kodlama ve sinir ağı öğrenme algoritmaları hakkında özetlenen verimli kodlama hipotezi arasındaki ilişki ile ilgilidir .

Etkili kodlama hipotezi ile sinir ağları arasındaki ilişki nedir?

Etkili kodlama hipotezinden açıkça ilham alan herhangi bir sinir ağı modeli var mı?

Yoksa tüm sinir ağı öğrenme algoritmalarının en azından dolaylı olarak etkili kodlamaya dayandığını söylemek daha doğru olur mu?

neural-networks information-theory

— Mike NZ
kaynak

Belki seyrek otoenkoderler peşindesiniz ? (İlgi alanınız daha az teknik ve daha geniş / felsefi ise, kullanıcı kenorb'un önerisi uygun olabilir.)

— GeoMatt22

İlginç soru. Tahminimce NN'ler “verimli” olarak nitelendirebileceğimiz hiçbir yere yakın değiller. Düşüş gibi yaygın olarak kullanılan tekniklerin aslında kodlama verimliliğini azaltmaya çalışacağını düşünüyorum.

— kbrose

Başka bir referans: Piyango Bilet Hipotezi, arxiv.org/abs/1803.03635 Makale çalışkan alt ağları bulmaktan bahsediyor, ancak verimli kodlama ile ilgili bağlantılar olabileceğini düşünüyorum

— kbrose 19:18

Ben bir bilgi teorisi uzmanı değilim, ancak NN'lerin yaptığı verimli kodlama arasında herhangi bir ilişki olduğuna inanmıyorum ya da etkili kodlamayı dahil etmek için herhangi bir tarihsel veya mevcut girişimden haberdar değilim. Bununla birlikte, NN'lerin

— shadowtalker

Bunu cevaplamak için yeterli (henüz) yok, ama bu bana NN'lerin öğrenmek yerine gerçekten sadece ezberleyip ezberleyip ezmedikleri sorusuyla ilgili gibi görünüyor.

— Bill Clark

Bağlantının yapıldığını iddia edebileceğine inanıyorum. Kaynağımı bulamadığım için göndermediğim için özür dilerim, ancak bu Hinton'un sunduğu eski bir slayttan geldi. İçinde, makine öğrenimi yapanlar için temel düşünme yollarından birinin (sunum derin öğrenme kelimesinin ortak kullanımından önce geldiği gibi) verilerin kolayca olabileceği şekilde verilerin optimal bir dönüşümü olduğunu iddia etti. öğrendi. Sinir ağlarına, verinin arka pervane olsa da 'optimal dönüşümü'ne, etkin kodlama hipotezine inanıyorum. Düzgün bir çekirdek verildiği gibi, birçok alan da doğrusal modellerle kolayca sınıflandırılabilir, verilerin dönüştürülmesi ve depolanması için uygun yolu öğrenerek, nöronların verileri temsil edecek şekilde ve nasıl düzenlenmeleri gerektiğini öğrenir.

— Anonim Emu
kaynak