Coursera Machine Learning Course için Düzenli Doğrusal Regresyon Maliyet Fonksiyonunun Türetilmesi

13

Andrew Ng'in "Machine Learning" kursunu birkaç ay önce Coursera üzerinden aldım, matematik / türevlerin çoğuna dikkat etmedim ve bunun yerine uygulama ve pratikliğe odaklandım. O zamandan beri altta yatan teoriyi incelemeye başladım ve Prof. Ng'nin bazı derslerini tekrar gözden geçirdim. "Düzenli Doğrusal Regresyon" konulu konferansını okuyordum ve şu maliyet fonksiyonunu verdiğini gördüm:

J (θ) = \frac{1}{2 m} [Σ_{ben = 1}^{m} (h_{θ} (x^{(ben)}) - y^{(ben)})^{2} + λ Σ_{j = 1}^{n} θ_{j}^{2}]

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Ardından, bu maliyet fonksiyonu için aşağıdaki gradyanı verir:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [Σ_{ben = 1}^{m} (h_{θ} (x^{(ben)}) - y^{(ben)}) x_{j}^{(ben)} - λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$

Birinden diğerine nasıl geçtiği konusunda biraz kafam karıştı. Kendi türevimi yapmaya çalıştığımda şu sonucu elde ettim:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [Σ_{ben = 1}^{m} (h_{θ} (x^{(ben)}) + y^{(ben)}) x_{j}^{(ben)} + λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Fark, orijinal maliyet fonksiyonu ile Prof. Ng'nin formülündeki normalleştirme parametresi arasındaki 'artı' işaretidir, gradyan işlevinde bir 'eksi' işaretine dönüşürken sonuçta bu gerçekleşmez.

Sezgisel olarak neden negatif olduğunu anlıyorum: theta parametresini gradyan figürüyle düşürüyoruz ve normalleştirme parametresinin aşırı sığmayı önlemek için parametreyi değiştirdiğimiz miktarı azaltmasını istiyoruz. Ben bu sezgiyi destekleyen kalkülüs üzerinde biraz sıkıştım.

Bilginize, güverteyi burada , 15 ve 16 numaralı slaytlarda bulabilirsiniz .

regression self-study

— wellington
kaynak

1

Sonuçta y ^ (i) öncesinde bir " + " var - bu bir yazım hatası mı?

— Steve S

12

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

şimdi

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

Doğrusal bir modelde (bahsettiğiniz sayfalarda tartışılmaktadır), $\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Yani doğrusal durum için

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Belki de sen ve Andrew'un yazım hataları olabilir. Üçümüzden en az ikisi öyle görünüyor.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

doğrulandı, Andrew'un notundaki bir yazım hatası, + işareti olmalı. Prof θ (1-α (λ / m)) sezgisi de dahil olmak üzere her şeyi doğru bir şekilde açıklar, yani bu küçülme her defasında düzenli hale getirilmeden önce her zamanki parçayı çıkarır.

— Gob00st

4

Aslında ders notlarını videodan hemen sonra kontrol ederseniz, formülü doğru bir şekilde gösterir. Burada sıraladığınız slaytlar videonun tam slaydını gösterir.

— Piyush
kaynak

coursera.org/learn/machine-learning/supplement/pKAsc/… burada video doğru formül gösteren video hemen sonra notlara link.

— Gob00st

1

Aslında bence bu sadece bir yazım hatası.

16. slaytta maliyet fonksiyonunun türevini (normalleştirme terimiyle) tetaya göre yazar, ancak Gradient Descent algoritması bağlamındadır . Bu nedenle, bu türevi . Uyarı: İkinci satırda (slayt 16'nın) (yazdığınız gibi) vardır, çarpılır . Bununla birlikte, üçüncü satırda, ikinci satır doğruysa - negatif işaretler iptal edilmiş olsa bile , çarpılan terim hala negatiftir . $-\alpha$ $-\lambda\theta$ $-\alpha$

Mantıklı olmak?

— Steve S
kaynak