Bir Boltzmann makinesi bir Hopfield ağından daha fazla desen depolayabilir mi?


17

Bu, yapay zeka için kapalı bir betadan geliyor ve bu soru 47 numaralı kullanıcı tarafından gönderiliyor.


Wikipedia'ya göre ,

Boltzmann makineleri Hopfield ağlarının stokastik, üretken muadili olarak görülebilir.

Her ikisi de bit kalıplarını öğrenmek için eğitilebilen tekrarlayan sinir ağlarıdır. Daha sonra kısmi bir desenle sunulduğunda, ağ tam tam deseni alır.

Hopfield ağlarının 0.138 kapasiteye sahip olduğu kanıtlanmıştır (örneğin, her 1000 düğüm için depolamadan yaklaşık 138 bit vektör geri çağrılabilir, Hertz 1991).

Bir Boltzmann makinesi stokastik olduğundan, benim anlayışım, depolanan bir model ile diğeri arasındaki enerji farkı benzer olduğunda mutlaka aynı modeli göstermeyeceği yönündedir. Ancak bu stokastiklik nedeniyle, belki daha yoğun desen depolamaya izin verir, ancak enerji farkı açısından her zaman "en yakın" kalıbı alacağınızın garantisi olmadan. Bu doğru olur mu? Yoksa bir Hopfield ağı daha fazla desen depolayabilir mi?

Yanıtlar:


3

Gerçekten de sezginiz doğrudur, bir Boltzmann makinesi, bu makalede keşfedilen stokastik doğası nedeniyle belleğinde bir Hopfield ağından daha fazlasını tutabilir . Makalede kapasitenin 0,6 civarında olduğunu belirtiyorlar. Bu orandan sonra bozulmaya başlar ve geri çağrılan kalıplara çok daha fazla gürültü ekler.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.