OLS doğrusal regresyonunda maliyet fonksiyonu

Andrew Ng tarafından Coursera'da makine öğrenmesi hakkında verilen lineer regresyon dersiyle biraz kafam karıştı. Orada, karelerin toplamını en aza indiren bir maliyet işlevi verdi:

$$\frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2$$

nereden geldiğini anlıyorum . Bence öyle yaptı ki, kare teriminde türev gerçekleştirdiğinde, kare terimdeki 2, yarı ile iptal edecektir. Ama nereden geldiğini anlamıyorum .$\frac{1}{2}$$\frac{1}{m}$

Neden gerekiyor ? Standart doğrusal regresyonda, bizde yok, artıkları en aza indirgiyoruz. Neden burada buna ihtiyacımız var?$\frac{1}{m}$

Farkında göründüğünüz gibi, doğrusal regresyon elde etmek için kesinlikle faktörüne ihtiyacımız yok . Küçültücüler elbette ki, onunla veya onsuz tamamen aynı olacaktır. ile normalize etmenin tipik bir nedeni , maliyet fonksiyonunu, rastgele seçilen yeni bir örnekte beklenen eğitim kaybı olan (genel olarak belirlenmemiş olan) “genelleme hatası” nın bir yaklaşımı olarak görebilmemizdir:$1/m$$m$

Diyelim ki bazılarından örneklenmiş. dağılımı. Daha sonra büyük için o beklemek m $(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$$m$

$$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$$

Daha doğrusu, Büyük Sayıların Güçlü Yasası ile, olasılık 1 ile.

$$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$$

Not: Yukarıdaki ifadelerin her biri , eğitim setine bakmadan seçilen herhangi bir belirli . Makine öğrenimi için, bu ifadelerin eğitim setindeki iyi performansına dayanarak seçilen bazı için geçerli olmasını istiyoruz . Bu iddialar hala geçerli olabilir, ancak işlev kümesinde bazı varsayımlar yapmamız gerekiyor ve Kanun'dan daha güçlü bir şeye ihtiyacımız var Büyük Sayılar. θ { h $\theta$$\hat{\theta}$$\{h_\theta \,|\, \theta \in \Theta\}$

Sen yok olması için. Kayıp işlevi, dahil edip veya onu bastırmanız için aynı asgari seviyeye sahiptir . Yine de eklerseniz, veri noktası başına ortalama hatayı en aza indirmenin (bir buçuk) güzel bir yorumunu elde edersiniz . Başka bir deyişle, toplam hata yerine hata oranını en aza indirirsiniz .$\frac{1}{m}$

Performansı, farklı boyutlarda iki veri kümesinde karşılaştırmayı düşünün. Kare hataların ham toplamı doğrudan karşılaştırılamaz, çünkü daha büyük veri setleri sadece boyutlarından dolayı daha fazla toplam hata yapma eğilimindedir. Öte yandan, veri noktası başına ortalama hata .

Biraz detaylandırabilir misin?

Emin. Veri veri noktalarının bir koleksiyonudur . modeline sahip olduğunuzda , tek bir veri noktasındaki en küçük kareler hatası:s $\{ x_i, y_i \}$$h$$h$

$$(h(x_i) - y_i)^2$$

bu, elbette, her veri noktası için farklıdır. Şimdi, eğer hataları basitçe özetlersek (ve tanımladığınız nedenle yarıya kadar çarparsak) toplam hatayı alırız

$$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$$

fakat eğer summan sayısına bölünürsek, veri noktası başına ortalama hata elde ederiz.

$$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$$

Ortalama hata FAYDASIDA varsa yani iki veri setlerini ve ait boyutlarını differeing , o zaman ortalama hataları ancak toplam hatalar karşılaştırabilirsiniz. İkinci veri seti, örneğin, ilk boyutun on katı ise, aynı hata için toplam hatanın yaklaşık on kat daha büyük olmasını bekleriz. Öte yandan, ortalama hata, veri setinin boyutunun etkisini ayırır ve bu nedenle benzer performans modellerinin farklı veri setlerinde benzer ortalama hatalara sahip olmasını bekleriz.$\{ x_i, y_i \}$$\{ x'_i, y'_i \}$