L1 regresyon tahminleri medyan tahmin ederken L2 regresyon tahminleri ortalama tahmin eder?

24

Bu yüzden, L1 (yani, kement) ve L2 (yani sırt regresyonunun) merkezi önlemlerinin tahmin edildiği bir soru soruldu. Cevap, L1 = medyan ve L2 = ortalamadır. Bunun için herhangi bir sezgisel akıl yürütme var mı? Yoksa cebirsel olarak mı tespit edilmesi gerekiyor? Eğer öyleyse, bunu nasıl yapacağım?

— Bstat
kaynak

4

L1 / L2 tarafından amaç işlevine veya kısıtlamalara mı değiniyorsunuz? Eğer nesnel işlev varsa, koşullu medyan ve koşullu ortalama ile evet L1 hatası en aza indirgenir. Kısıtlamalar (ne sırt / kemente atıfta bulunulursa) o zaman bu düşünmenin yanlış bir yoludur. Onların "Merkez tedbirler" hala şartlı ortalama için değil farklı cezalar hedefliyoruz

β

$\beta$ .

— muratoa

24

L1 kayıp fonksiyonunun neden medyanı verdiğine dair basit bir geometrik açıklama vardır.

Tek boyutta çalıştığımızı hatırlayın, bu nedenle yatay olarak yayılan bir sayı çizgisi hayal edin. Veri noktalarının her birini sayı satırına çizin. Parmağınızı çizginin üzerinde bir yere koyun; parmağınız mevcut aday tahmininiz olacak.

Parmağınızı biraz sağa hareket ettirdiğinizi varsayalım, sağa birimler söyleyin . Toplam zarar ne olur? Eh, eğer parmağınızı iki veri noktaları arasında idi ve bir veri noktası üzerinde hareket, yanından toplam kaybı artırdık parmağınızın sola her bir veri noktası için, ve bunu azaldı $\delta$ $\delta$ $\delta$ her veri noktası için ve her veri noktası için . parmağınızın hakkı. Bu nedenle, parmağınızın sağında sola göre daha fazla veri noktası varsa, parmağınızı sağa hareket ettirmek toplam kaybı azaltır. Başka bir deyişle, veri noktalarının yarısından fazlası parmağınızın sağındaysa parmağınızı sağa kaydırmanız gerekir.

Bu, parmağınızı, veri noktalarının yarısının o noktanın üzerinde, yarısının sağ tarafta olduğu bir noktaya götürmenizi sağlar. Bu nokta medyandır.

Bu L1 ve ortanca. Ne yazık ki, L2 ve ortalamanın benzer bir "tüm sezgisi, cebri yok" açıklaması yok.

— DW
kaynak

7

Basit bir nokta tahmininden bahsediyorsak, bu basit bir hesaptır.

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

— muratoa 19:12

3

@muratoa, evet, hesap türevini biliyorum, ancak soru özellikle sezgiye odaklanan ve cebiri önleyen bir açıklama istiyor. Soru-soran kişinin hesap türevini zaten bildiğini, ancak daha sezgi sağlayan bir şey aradığını varsayardım.

— DW

OP'nin, en küçük kareleri kullanan koşullu bir ortalama olan ve verilen ortalama hata için koşullu ortanca olan y verilen x'in tahmininden bahsettiğini söyleyen regresyondan bahsettiğini düşündüm. Aynı açıklamalar işe yaramalı ama sorun biraz farklı. Ortalamanın hesaplaması oldukça açık ve anlaşılır. Belki de ortalamanın açıklaması, medyan için DW'lere benzer şekilde verilebilir. Örneklem ortalaması, nüfus ortalaması için tarafsız bir tahmindir.

— Michael R. Chernick

Tahmini örnekten uzağa taşıdığınızda, ortalama kare hatası yanlılıktaki bir artış nedeniyle değişir. Ortalama kare hata aslında d artar

tahmin aday tahmini olarak numune ortalamaya d ekler zaman.

^{2}

$^2$

— Michael R. Chernick

11

L1 vakası için muratoa tarafından verilen cebirin hızlı ve kirli bir versiyonu vardır.

,

nin türevi olmadıkça

wrt

olduğu

, olduğu

ise

ve

ise

. Yani

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

zaman hariç

bir bir

. Türev yok olur, pozitif ve negatif arasında açısından aynı sayıda olan

zaman kabaca ortaya

ortancasıdır

.

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

— Yves

17

Bu açıklama muratoa ve Yves'in DW'un cevabı üzerine yaptığı yorumların bir özetidir . Analizin temel alınmasına rağmen, onu basit ve anlaşılması kolay buldum.

Biz varsayarsak ve yeni bir tahmin almak istediğiniz bunlara dayalı. Kaybın türevini sıfıra bulduğumuzda en küçük kayıp elde edilir . $y_1, y_2, ... y_k$ $\beta$ $\beta$

L1 kaybı

L 1 = \frac{1}{k} \sum_{i = 1}^{k} | y_{i} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

, 1 olduğunda

-1 zaman

. 0 türevi eşittir arasında pozitif ve negatif açısından aynı sayıda olan

aracı,

medyan olmalıdır

\frac{\partial L_{1}}{\partial β} = - \frac{1}{k} \sum_{i = 1}^{k} s g n (y_{i} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$ .

L2 kaybı

L 2 = \frac{1}{k} \sum_{i = 1}^{k} (y_{i} - β)^{2}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial L_{2}}{\partial β} = - \frac{2}{k} \sum_{i = 1}^{k} (y_{i} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

\frac{\partial L_{2}}{\partial β} = 0 \to β = \frac{1}{k} \sum_{i = 1}^{k} y_{i}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

— chefwen
kaynak

3

DW'nun cevabını daha pratik bir örnekle eklemek (L2 kayıp fonksiyonu için):

Birbirine yakın 4 evden oluşan küçük bir köy düşünün (örn. 10 metre). Bunlardan 1 kilometre uzakta, çok izole bir evin daha var. Şimdi, o kasabaya geliyorsun ve kendi evini bir yerde inşa etmek istiyorsun. Diğer evlere yakın oturmak ve herkesle arkadaş olmak istiyorsun. Bu iki alternatif senaryoyu inceleyin:

Herhangi bir eve ortalama mesafenin en küçük olduğu yerde olmaya karar verirsiniz (örneğin, L1 kayıp fonksiyonunu en aza indirir).
- Evinizi köyün ortasına yerleştirirseniz, 4 evden yaklaşık 10 metre ve bir evden 1 kilometre uzakta olacaksınız, bu da size ortalama 200 metre (10 + 10 + 10 + 10 + 1000) / 5).
- Evinizi köyden 500 metre uzağa yerleştirirseniz, ortalama 500 metre mesafe veren 5 evden yaklaşık 500 metre uzakta olacaksınız.
- Evinizi yalıtılmış evin yanına yerleştirirseniz, köyden (4 ev) 1km uzakta ve 1 evden yaklaşık 10 metre uzakta olacaksınız, bu da ortalama 800 metre kadar bir mesafe sağlar.
Böylece köyünüze evinizi inşa ederek en düşük ortalama 100 metre mesafeye ulaşılır. Daha spesifik olarak, birkaç metre ortalama mesafe kazanmak için evinizi bu 4 evin ortasına inşa edeceksiniz. Ve bu noktanın, medyan formülünü kullanarak benzer şekilde elde edeceğiniz " medyan nokta " olduğu ortaya çıktı .
Demokratik bir yaklaşım benimsemeye karar veriyorsun. Gelecek beş komşunuzun her birine yeni eviniz için tercih ettikleri yeri soruyorsunuz. Hepsi senden hoşlanıyor ve onların yakınında yaşamanı istiyorlar. Böylece hepsi kendi evlerinin hemen yanındaki nokta olarak tercih ettikleri yeri belirtiyorlar. Beş komşunuzun oy alan konumlarının ortalamasını alırsınız ve sonuç “köyden 200 metre uzakta” olur (oyların ortalaması: 0 + 0 + 0 + 0 + 1000/5 = 200). Ortalama 5 formülü kullanarak, benzer şekilde elde edeceğiniz 5 evin “ ortalama noktası ”. Ve bu konum tam olarak kareler arasındaki mesafeyi taklit edenle aynı gibi görünüyor (yani L2 kaybı fonksiyonu). Sadece görmek için matematiği yapalım:
- Bu konumda, kare uzaklıkların toplamı: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- Evi köyün ortasına inşa edersek, toplam uzaklık sayımız şöyle olacaktır: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1000 ^ 2 = 1000 000
- Evi köye 100 metre uzaklıkta inşa edersek (1'deki gibi), kare uzaklıkların toplamı: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- Evi, yalıtılmış evden 100 metre uzağa inşa edersek, kare uzaklıkların toplamı: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

Bu yüzden evet, biraz sezgisel olarak, mesafelerin toplamını en aza indirdiğimizde, ortalama anlamında "ortada" olmadığımızı fark etmek ilginçtir; medyan. Bu, en popüler regresyon modellerinden biri olan OLS'ın mutlak hatalar yerine kare hatalar kullanmasının nedeninin bir parçasıdır.

— Jonathan Zimmermann
kaynak

1

Önceden yayınlanan cevaplara ek olarak (bana çok yardımcı oldu!), L2 normu ile ortalama arasındaki bağlantıya dair geometrik bir açıklama var.

Chefwen ile aynı notasyonu kullanmak için , L2 kaybının formülü:

L 2 = \frac{1}{k} Σ_{ben = 1}^{k} (y_{ben} - β)^{2}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

Değerini bulmak istiyoruz $\beta$ hangi en aza indirir $L2$ . Bunun, aşağıdakileri minimize etmeye eşdeğer olduğuna dikkat edin; $k$ ve karekök alarak her ikisi de sırayı korur:

\sqrt{Σ_{ben = 1}^{k} (y_{ben} - β)^{2}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

Veri vektörünü dikkate alırsanız $y$ bir nokta olarak $k$ boyutlu uzay, bu formül nokta arasındaki Öklid mesafesini hesaplar $y$ ve nokta $\vec{\beta} = (\beta, \beta, ..., \beta)$ .

Yani sorun değeri bulmak $\beta$ Bu, noktalar arasındaki Öklid mesafesini en aza indirir $y$ ve $\vec{\beta}$ . Olası değerlerden beri $\vec{\beta}$ hepsi paralel hat üzerinde yatıyor $\vec{1} = (1, 1, ..., 1)$ tanım gereği, bu vektör projeksiyonunu bulmakla eşdeğerdir $y$ üstüne $\vec{1}$ .

Bunu sadece görselleştirmek gerçekten mümkün $k = 2$ , ama burada bir örnek $y = (2, 6)$ . Gösterildiği gibi üzerine yansıtılıyor $\vec{1}$ verim $(4, 4)$ Beklediğimiz gibi.

Bu projeksiyonun her zaman ortalamayı verdiğini göstermek için (ne zaman $k > 2$ ), projeksiyon için formülü uygulayabiliriz :

\begin{aligned} \vec{β} & = {proj}_{\vec{1}} y \\ = \frac{y \cdot \vec{1}}{| \vec{1} |^{2}} \vec{1} \\ β & = \frac{Σ_{ben = 1}^{k} y_{ben}}{k} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

— paul
kaynak