Makine öğreniminde enerji minimizasyonu nedir?

Bilgisayar görüşünde kötü bir sorun için optimizasyon hakkında okuyordum ve Wikipedia'daki optimizasyon ile ilgili aşağıdaki açıklama ile karşılaştım. Anlamadığım şey neden Bilgisayar Optimizasyonunda bu optimizasyona " Enerji minimizasyonu " diyorlar ?

Bir optimizasyon sorunu aşağıdaki şekilde temsil edilebilir:

Verilen: dan bazı set gerçek sayılara işlevi$f: A \to R$$A$

Aranan: bir eleman içinde şekilde için tüm de ( "en aza indirilmesi") ya da bu şekilde için tüm de ( "maksimizasyonu") . A f ( x 0 ) ≤ f ( x ) x A f ( x 0 ) ≥ f ( x ) x $x_0$$A$$f(x_0) ≤ f(x)$$x$$A$$f(x_0) ≥ f(x)$$x$$A$

Böyle bir formülasyon, bir optimizasyon problemi veya matematiksel programlama problemi olarak adlandırılır (bilgisayar programlama ile doğrudan ilişkili olmayan, ancak yine de örneğin doğrusal programlamada kullanılan bir terim - aşağıdaki Geçmişe bakın). Birçok gerçek dünya ve teorik sorun bu genel çerçevede modellenebilir. Fizik ve bilgisayarla görme alanlarında bu teknik kullanılarak formüle edilen problemler, tekniğin modellenen sistemin enerjisini temsil ettiği işlevinin değerinden söz ederek enerji minimizasyonu olarak ifade edebilir.$f$

Enerji tabanlı modeller, birçok makine öğrenme algoritmasını temsil etmek için birleşik bir çerçevedir. Çıkarımları bir enerji fonksiyonunu en aza indirirken, öğrenmeyi de bir kayıp fonksiyonunu en aza indirerek yorumlamaktadır.

Enerji işlevi, gizli değişkenlerin konfigürasyonunun ve bir örnekte sağlanan girişlerin konfigürasyonunun bir fonksiyonudur. Çıkarım tipik olarak, düşük bir enerji konfigürasyonu bulmak veya olası bir konfigürasyondan numune almak anlamına gelir, böylece belirli bir konfigürasyonu seçme olasılığı bir Gibbs dağılımıdır.

Kayıp fonksiyonu, birçok örnek verilen model parametrelerinin bir fonksiyonudur. Örneğin, denetimli bir öğrenme probleminde, kaybınız hedeflerdeki toplam hatadır. Bazen "fonksiyonel" olarak adlandırılır, çünkü modeli oluşturan (parametreler) fonksiyonunun bir fonksiyonudur.

Büyük makale:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato ve FJ Huang, Yapısal Verilerin Tahmininde “Enerji Tabanlı Öğrenme Üzerine Bir Eğitim”, MIT Press, 2006.

Ayrıca bakınız:

LeCun, Y. ve Huang, FJ (2005). Enerji Tabanlı Modellerin Ayrımcı Eğitimi için Kayıp Fonksiyonları. 10. Uluslararası Yapay Zeka ve İstatistik Çalıştayı (AIStats'05). Http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf adresinden erişildi.

Ranzato, M., Boureau, Y.-L., Chopra, S. ve LeCun, Y. (2007). Denetimsiz Öğrenme için Birleştirilmiş Enerji Tabanlı Çerçeve. Proc. Yapay Zeka ve İstatistik Konferansı (AI İstatistikleri). Http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07 adresinden erişildi.

$x_t$