Sinir ağlarını matematiksel olarak modelleme

12

Bir sinir ağı ve bir grafik model arasındaki matematiksel bağlantıyı kurmak için uğraşıyorum.

Grafik modellerde fikir basittir: olasılık dağılımı, grafikteki uçurumlara göre çarpanlara ayrılır ve potansiyeller genellikle üstel ailenin olur.

Sinir ağı için eşdeğer bir gerekçe var mı? Bir Kısıtlı Boltzmann makinesinde veya CNN'nin enerjilerinin bir fonksiyonu olarak birimler (değişkenler) üzerindeki olasılık dağılımını veya birimler arasındaki enerjilerin ürünü ifade edebilir mi?

Ayrıca, olasılık dağılımı üstel ailenin bir RBM veya Derin inanç ağı (örneğin CNN'lerle) tarafından modelleniyor mu?

Ürdün ve Wainwright'ın grafik modelleri , Üstel Aileleri ve Varyasyon Çıkarımları ile grafik modeller için yaptığı gibi bu modern sinir ağları ve istatistikler arasındaki bağlantıyı resmileştiren bir metin bulmayı umuyorum . Herhangi bir işaretçi harika olurdu.

— Amelio Vazquez-Reina
kaynak

1

IM (düşmanı) Ey buradaki temel sorun, sinir ağlarının gerçekte ağlar olmamasıdır; pratik olarak sabit bir topolojiye sahiptirler ve böylece içindeki bilgileri saklamak için küçük bir şansları vardır.

Bu son gönderiyi gördün mü ?

— jerad

@jerad Teşekkürler, bu yazıyı okumamıştım. Sorum, bu modellerin nasıl birleştirileceği konusunda çok fazla değil (örneğin Yann'ın söylediği gibi "using deep nets as factors in an MRF"), ancak olasılıklı bir faktör grafiği olarak derin bir ağa nasıl bakılacağı hakkında daha fazla şey. Yann LeCun'un dediği zaman "of course deep Boltzmann Machines are a form of probabilistic factor graph themselves", bu bağlantıyı matematiksel olarak görmekle ilgileniyorum.

— Amelio Vazquez-Reina

@ mbq, karmaşık bir görüntünün gizli katman düğümleri tarafından temsil edilen bileşen nesnelerine sahip olması gibi bazı gizli katman bileşeni bilgi depolama biçimleri gördük https://distill.pub/2017/feature-visualization/( ör. sinir ağları görüntüleri nasıl anladığını ). Ağırlıklar 'topolojiyi' ayrık olmayan bir şekilde 'değiştirebilir'. Görmeme rağmen, bazı yöntemler kenarları çıkarmak ve böylelikle orijinal topolojiyi değiştirmek için büzülme faktörleri içerebilir

— Vass

6

Konuyla ilgili başka iyi tanıtım CSC321 Toronto Üniversitesinde ders ve neuralnets-2012-001 Coursera Geoffrey Hinton tarafından öğretilen hem ders.

İnanç Ağları ile ilgili videodan :

Grafik modeller

İlk grafik modeller, grafik yapısını ve koşullu olasılıkları tanımlamak için uzmanlar kullandı. Grafikler nadiren birbirine bağlıydı ve odak, öğrenmeye değil doğru çıkarım yapmaya odaklandı (bilgi uzmanlardan geldi).

Nöral ağlar

Sinir ağları için öğrenme esastı. Sabit kablolama bilgi serin değildi (Tamam, belki biraz). Öğrenme, uzmanlardan değil, eğitim verilerini öğrenmekten geldi. Sinir ağları, çıkarımı kolaylaştırmak için seyrek bağlanabilirliğin yorumlanabilirliğini amaçlamamıştır. Bununla birlikte, inanç ağlarının sinirsel ağ versiyonları vardır.

Anladığım kadarıyla, inanç ağları genellikle çok fazla bağlı ve kliklerinin yorumlanamayacak kadar büyük olduğu. İnanç ağları girdileri entegre etmek için sigmoid işlevini kullanırken, sürekli grafik modeller genellikle Gauss işlevini kullanır. Sigmoid ağın eğitilmesini kolaylaştırır, ancak olasılık açısından yorumlanması daha zordur. Her ikisinin de üstel ailede olduğuna inanıyorum.

Bu konuda bir uzman olmaktan çok uzaktayım, ancak ders notları ve videolar harika bir kaynak.

— ostrokach
kaynak

1

Siteye hoş geldiniz. Soru-cevap şeklinde yüksek kaliteli istatistiki bilgilerin kalıcı bir havuzunu oluşturmaya çalışıyoruz. Bu nedenle, linkrot nedeniyle sadece bağlantı cevaplarına karşı dikkatliyiz. Öldüğünde, bağlantıya tam bir alıntı ve bilgi özeti gönderebilir misiniz?

— gung - Monica'yı eski

Bu gerçekten güzel. Bu bilgileri eklediğiniz için teşekkür ederiz. CV'ye hoş geldiniz.

— gung - Monica'yı eski

Cevabınızın ilk yarısındaki bilgilerin tam olarak doğru olmadığına dikkat çekmeliyim ki, sanırım "erken grafik modeller" ("çok çok erken" olmalıdır). Çok uzun bir süredir, mimarisinin tüm yönlerini sinir ağlarıyla aynı şekilde öğrenmek için grafik modeller kullanılmıştır. Ancak, faktör grafiklerinde gausscuların yerini alan sigmoidlere dair öneriniz ilginç!

— GuSuku

4

Radford Neal, Bayes grafik modellerini sinir ağlarıyla eşitlemek için doğrudan çalışmalar da dahil olmak üzere, bu alanda ilginizi çekebilecek iyi bir çalışma yaptı. (Görünüşe göre tezi bu konuyla ilgiliydi.)

Akıllı bir özet sağlamak için bu işe yeterince aşina değilim, ancak yararlı bulmanız durumunda size işaretçiyi vermek istedim .

— lmjohns3
kaynak

Neal, Mackay vb . Çalışmalarından anladığım kadarıyla, optimize etmek için parametrelerin sinir ağırlıkları ve önyargılar olduğu Bayesian Optimizasyon kullanıyorlar, hatta sinir ağlarının L2 normalleşmesinin daha önce bir Gauss olarak görülebileceğini gösterecekler. ağırlıklar. Bu program optimizasyon değişkenleri arasında gizli katmanların sayısını, her katmandaki nöronları vb. İçermeye devam etmiştir.

— GuSuku

Ancak bu OP'nin sorduğundan farklıdır, çünkü sinir ağının mimarisini bir sonraki çalışmada denemek için tasarlamak, Bayesian modellerini hiper tasarım motoru olarak kullanan özel bir deneysel tasarım örneğidir. Bence OP'nin sinir ağı ile bayes modellemesi arasında “aynı seviyede” bir eşleme olduğunu düşünüyorum.

— GuSuku

4

Bu eski bir konu olabilir, ancak yine de alakalı bir soru olabilir.

Yapay Sinir Ağları (NN) ve Olasılıksal Grafik Modeller (PGM) arasındaki bağlantıların en belirgin örneği Boltzmann Makineleri (ve Kısıtlı BM, Derin BM vb.) Ve Markov Rasgele Alanın yönlendirilmemiş PGM'leri arasındaki bağlantıdır.

Benzer şekilde, İnanç Ağları (ve Derin BN vb. Varyasyonları) Bayesian grafiklerinin bir tür yönlendirilmiş PGM'si

Daha fazlası için bakınız:

Yann Lecun, " Enerji Tabanlı Öğrenme Eğitimi " (2006)
Yoshua Bengio, Ian Goodfellow ve Aaron Courville, "Deep Learning", Bölüm 16 ve 20 (bunu hazırlarken hazırlık kitabı)

— GuSuku
kaynak