Softmax neden olasılık dağılımını temsil etmek için kullanılıyor?


10

Makine öğrenimi literatüründe, bir olasılık dağılımını temsil etmek için genellikle softmax işlevi kullanılır. Bunun bir sebebi var mı? Neden başka bir işlev kullanılmıyor?

Yanıtlar:


7

Optimizasyon açısından bakıldığında, farklılaşma açısından bazı hoş özelliklere sahiptir. Birçok makine öğrenimi problemi için 1-N sınıfı sınıflandırması için iyi bir seçimdir.

Derin bir öğrenme perspektifinden bakıldığında, teoride, MLP'lerin Evrensel Yaklaşım özelliğine sahip olduğu için, bir softmax sınıflandırıcısı ile derin bir ağ kullanmanın özellik alanı üzerinde herhangi bir N sınıfı olasılık fonksiyonunu temsil edebileceği de iddia edilebilir .


1
Softmax'ın popülaritesinin ana nedeni, Degrade Tabanlı öğrenme ortamında yardımcı olan güzel farklılaşma özellikleridir. Hepsi bu, değil mi?
SHASHANK GUPTA

Bence, zaten. Softmax güzel türevleri olan basit bir programdır ve gradyan tabanlı öğrenme için caziptir. Söylediğin her şeye katılıyorum.
Indie AI

Softmax'ı optimize edeceğiniz fonksiyonun kütle / yoğunluk fonksiyonu olarak düşünebilirsiniz. Bence softmax, olasılık kütle / yoğunluk fonksiyonunu modellemenin kolay bir yoludur.
Charles Chow

3

Softmax aynı zamanda lojistik sigmoid fonksiyonunun genelleştirilmesidir ve bu nedenle sigmoid'in farklılaşma kolaylığı ve 0-1 aralığında olması gibi özelliklerini taşır. Bir lojistik sigmoid fonksiyonunun çıktısı da 0 ile 1 arasındadır ve dolayısıyla olasılığı temsil etmek için doğal olarak uygun bir seçimdir. Türevi kendi çıktısı açısından da abartılıdır. Ancak, işlevinizde bir vektör çıkışı varsa, çıkış vektörü üzerinde olasılık dağılımını elde etmek için Softmax işlevini kullanmanız gerekir. Softmax'ın sadece Sinir Ağları için kullanılan bir işlev olmadığı için, Evrensel Yaklaşım teorisiyle bir ilgisi olmamasına rağmen, Indie AI'nın bahsettiği Softmax'ı kullanmanın başka avantajları da vardır.

Referanslar

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.