Perceptron kuralından Gradient İnişe: Sigmoid aktivasyon işlevine sahip Perceptronların Logistic Regression'dan farkı nedir?

Temelde benim sorum çok katmanlı Algılayıcılarda, algılayıcıların bir sigmoid aktivasyon işlevi ile kullanıldığıdır. Böylece güncelleme kuralında olarak hesaplanır. $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{ben})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Bu "sigmoid" Perceptron'un lojistik regresyondan farkı nedir?

Tek katmanlı bir sigmoid algılayıcının, her ikisinin de kullanması anlamında bir lojistik regresyona eşdeğer olduğunu söyleyebilirim. güncelleme kuralında . Ayrıca, her ikisi de öngörmede dönüşünü döndürür . Bununla birlikte, çok katmanlı algılayıcılarda, sigmoid aktivasyon fonksiyonu, lojistik regresyon ve tek katmanlı algılayıcının aksine açık bir sinyal değil bir olasılık döndürmek için kullanılır. $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$

"Perceptron" teriminin kullanımının biraz belirsiz olabileceğini düşünüyorum, bu yüzden, tek katmanlı algılayıcılar hakkındaki mevcut anlayışımı temel alarak biraz bilgi vereyim:

Klasik algılayıcı kuralı

İlk olarak, bir adım işlevine sahip olduğumuz F. Rosenblatt'ın klasik algılayıcısı:

Δ w_{d} = η (y_{ben} - \hat{y_{ben}}) x_{ben d} y_{ben}, \hat{y_{ben}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

ağırlıkları güncellemek için

w_{k} : = w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Böylece olarak hesaplanır. $\hat{y}$

\hat{y} = işaret (w^{T} x_{ben}) = işaret (w_{0} + w_{1} x_{ben 1} + . . . + w_{d} x_{ben d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Dereceli alçalma

Degrade iniş kullanarak, maliyet işlevini optimize ediyoruz (en aza indiriyoruz)

J (w) = \underset{ben}{Σ} \frac{1}{2} (y_{ben} - \hat{y_{ben}})^{2} y_{ben}, \hat{y_{ben}} \in R,

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

burada "gerçek" sayılara sahibiz, bu yüzden temel olarak sınıflandırma çıktımızın eşik olduğu farkıyla doğrusal regresyona benzer görüyorum.

Burada ağırlıkları güncellediğimizde degradenin negatif yönüne doğru bir adım atıyoruz

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \underset{ben}{Σ} (y_{ben} - \hat{y_{ben}}) (- x_{ben k}) = η \underset{ben}{Σ} (y_{ben} - \hat{y_{ben}}) x_{ben k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Fakat burada yerine $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} : = w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Ayrıca, tüm eğitim veri setinde (toplu öğrenme modunda) tam geçiş için kare hatalarının toplamını, yeni eğitim örnekleri geldiğinde ağırlıkları güncelleyen (stokastik gradyan inişine analog - çevrimiçi) karşılaştırarak hesaplıyoruz. öğrenme).

Sigmoid aktivasyon fonksiyonu

Şimdi, işte sorum:

Çok katmanlı Algılayıcılarda, algılayıcılar bir sigmoid aktivasyon işlevi ile kullanılır. Böylece güncelleme kuralında olarak hesaplanır. $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{ben})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Bu "sigmoid" Perceptron'un lojistik regresyondan farkı nedir?

Şaşırtıcı, bu soru kendi başıma makine öğrenmemi ve sinir ağının temellerini yoğunlaştırmamı sağladı!

— varun

Yanıtlar:

Degrade iniş kullanarak, maliyet işlevini optimize ediyoruz (en aza indiriyoruz)

$J (w) = \underset{ben}{Σ} \frac{1}{2} (y_{ben} - \hat{y_{ben}})^{2} y_{ben}, \hat{y_{ben}} \in R,$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Ortalama kare hatasını en aza indirirseniz, lojistik regresyondan farklıdır. Lojistik regresyon normal olarak çapraz entropi kaybı ile ilişkilidir, icikit-learn kütüphanesinden bir giriş sayfası .

(Çok katmanlı algılayıcıların sinir ağları denilen şeyle aynı olduğunu varsayacağım.)

Eğer tek katmanlı bir sinir ağı için çapraz entropi kaybını (normalizasyon ile) kullandıysanız, lojistik regresyon ile aynı model (log-linear model) olacaktır. Bunun yerine çok katmanlı bir ağ kullanırsanız, parametrik doğrusal olmayan temel fonksiyonlarla lojistik regresyon olarak düşünülebilir.

Bununla birlikte, çok katmanlı algılayıcılarda, sigmoid aktivasyon fonksiyonu, lojistik regresyon ve tek katmanlı algılayıcının aksine açık bir sinyal değil bir olasılık döndürmek için kullanılır.

Hem lojistik regresyonun hem de sigmoid aktivasyon işlevine sahip sinir ağlarının çıktısı olasılık olarak yorumlanabilir. Çapraz entropi kaybı aslında Bernoulli dağılımı ile tanımlanan negatif kütük olabilir.

— dontloo
kaynak

Çünkü gradyan iniş her parametreyi, tüm parametrelerin fonksiyonunun devam etmesi gereken çıkış hatasını azaltacak şekilde günceller. Eşik tabanlı aktivasyon ayırt edilemez, bu nedenle sigmoid veya tanh aktivasyonunun kullanılması.

İşte tek katmanlı bir NN

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

Eğer aktivasyon fonksiyonu basit bir adım fonksiyonu (eşik) olsaydı , wrt türevi olurdu. $J$ $z_k$

İşte genel olarak açıklayan bir link.

Düzenleme: Belki de, algılayıcılığın ne demek istediğini yanlış anladım. Yanılmıyorsam, algılanan girdilerin toplamından ağırlıklı olarak algılanır. Lojistik fonksiyonu ile engellemeyi değiştirirseniz, lojistik regresyona dönüşür. Sigmoid (lojistik) aktivasyon fonksiyonlarına sahip çok katmanlı NN, lojistik regresyonlardan oluşan kademeli katmanlardır.

— yasin.yazici
kaynak

Bu soruya cevap vermiyor.

— Neil G

Bu güzel yorumu yazdığın için teşekkürler, ama istediğim bu değildi.

@SebastianRaschka Onlar aynı. Farklı olduklarını düşündüren nedir? Degrade inişini sürdüm, çünkü degrade iniş değerlendirmesinde bir hata gördüm. Araba sürerken olduğunu varsaydınız . Bu yüzden, hem Perceptron hem de Gradient güncellemeleri için aynı türevi buldun.

y = W^{T} X

$y = W^T X$

— yasin.yazici

“Farklı olduklarını düşündüren ne?” - isimlendirme, bu yüzden başka bir şey olup olmadığını merak ediyordum; Sadece neden aynı şey için 2 farklı terimimiz olduğunu merak ediyorum. Btw. Benim sorum degrade iniş herhangi bir hata görmüyorum. doğru. Ayrıca, "algılanan kural" ile "gradyan iniş" güncelleme arasında aynı türetmeyi bulamadım. İlki, çevrimiçi öğrenme biçiminde (örneklem numunesi) yapılır, ikincisi toplu olarak yapılır ve ayrıca adım adım işlev kullanmak yerine kare hataların toplamını en aza indiririz.

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$

Sanırım karışıklığa neden olabilecek şey, “sınıflandırma” ve “öğrenme” aşamasını birbirinden ayırmanızdır. Sınıflandırma adımı her zaman eşittir (isterseniz 1 veya 1 veya 0 ve 1). Bununla birlikte, güncelleme farklıdır, klasik algılayıcıda, güncelleme oysa ki stokastik degrade inişini

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

Sezgisel olarak, giriş özelliklerim üzerinde doğrusal olmayan bir dönüşüm hesaplamak ve daha sonra bu dönüştürülmüş değişkenleri bir lojistik regresyona beslemek olarak çok katmanlı bir algılayıcı olduğunu düşünüyorum.

$\beta_i X$ $i$ $\frac{\beta_i X}{\sum_j \beta_j X}$

Seni bilmiyorum ama modelleme kurslarım ve araştırmamda, girdi özelliklerini önemini ve genel model tahminini geliştirmek için her türlü mantıklı ve aptalca dönüşümle denedim. Şeyleri karmak, kütükleri almak, ikisini bir orana bağlamak, vb. Utanmam yoktu, ama sabrım sınırlıydı.

$X$ $\beta_i$

— Dan Van Boxel
kaynak