Regresyon için asimetrik kayıp fonksiyonu nasıl tasarlanır ve uygulanır?

Sorun

Regresyonda, genellikle bir örnek için ortalama kare hatası (MSE) hesaplanır : , bir prediktör kalitesini ölçmek için uygulanır.

MSE = \frac{1}{n} \sum_{i = 1}^{n} {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$

Şu anda, hedefin, müşterilerin birtakım sayısal özellikler verilen bir ürün için ödemek istedikleri fiyatı tahmin etmektir. Öngörülen fiyat çok yüksekse, hiçbir müşteri ürünü satın alamaz, ancak parasal kayıp düşüktür, çünkü fiyat düşürülebilir. Tabii ki, ürün çok uzun süre satın alınamadığı için çok yüksek olmamalıdır. Diğer taraftan, öngörülen fiyat çok düşükse, fiyatı ayarlama şansı olmadan ürün hızlı bir şekilde satın alınacaktır.

Başka bir deyişle, öğrenme algoritması, hemen parasal bir kayıpla sonuçlanacak gerçek fiyatı hafife almak yerine, gerekirse azaltılabilecek biraz daha yüksek fiyatları tahmin etmelidir.

Soru

Bu maliyet asimetrisini içeren bir hata ölçümünü nasıl tasarlarsınız?

Olası çözüm

Asimetrik bir kayıp fonksiyonunu tanımlamak için bir yol, bir ağırlıkla çarpın olacaktır: ileolmak biz asimetri derecesini değiştirmek için ayarlanabilir bir parametre. Buradabuldum

\frac{1}{n} \sum_{i = 1}^{n} | α - 1_{(g (x_{i}) - \hat{g} (x_{i})) < 0} | \cdot {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$ . Bu ikinci dereceden zararı korurken yapılacak en yalındır şey gibi görünüyor.

regression error loss-functions

— Kiudee
kaynak

@MichaelChernick, FTR, bence bu açıkça ve tutarlı bir şekilde ifade edilen iyi bir soru, ve biraz niteliyim. Ne (bildiğiniz gibi) ben (yani için çözme bir gerileme donanımdır de alıyorum

minimize ederek) (varsayılan olarak) yapılır EKK kayıp fonksiyonunu , SSE. MSE'nin b / c'yi eşit olarak kullanabilme hakkının sabit olması, aday betaların sıralamasını etkilemez.

β

$\boldsymbol{\beta}$

— gung - Reinstate Monica

Başka bir gerçek, MSE'nin (daha sık RMSE), takılmış bir modelin kalitesini değerlendirmek için sıklıkla kullanılmasıdır (yine de, SSE aynı şekilde kullanılabilirse de). Mesele şu ki, bu soru bana (zaten bana) kayıp fonksiyonunun nasıl düşünüleceği / yeniden tasarlanabileceği gibi görünüyor , böylece takılan betalar, kaliteyi farklı bir şekilde düşünmek yerine, varsayılan olarak olacağından farklı Zaten uygun bir model .

— gung - Reinstate Monica

@Kiudee, eğer Q hakkındaki yorumum doğruysa, kayıp-fonksiyonlar etiketini eklemek için düzenlemeyi ve belki de başlığını şu şekilde değiştirmeyi düşünürsünüz : "Regresyon için asimetrik bir kayıp fonksiyonu nasıl tasarlanır ve uygulanır"? Bunları kabul etmemeniz durumunda düzenlemeleri kendim yapmam.

— gung - Reinstate Monica

Başvuru için gördüğüm dilim regresyon Eğer asimetrik kayıp fonksiyonları istediğinizde, bkz önerdi Berk, 2011 , PDF burada .

— Andy W,

Bu problemin üstesinden gelmek için çeşitli öğrenme algoritmaları kullandığım için, fonksiyon en az bir kere ayırt edilebilir olmalıdır.

— Kiudee

Yukarıdaki yorumlarda belirtildiği gibi, kuantil regresyon, asimetrik bir kayıp fonksiyonu kullanır (doğrusal ancak pozitif ve negatif hatalar için farklı eğimlerde). Kuantratik regresyonun kuadratik (karesel kayıp) analoğu, bekleme regresyonudur.

Referanslar için kuantil regresyon google yapabilirsiniz. Beklenti regresyonu için, R paket expectreg ve referans kılavuzundaki referanslara bakınız.

— Innuo
kaynak

Bu tür eşit olmayan ağırlıklandırma genellikle iki sınıfla olan sınıflandırma problemlerinde yapılır. Bayes kuralı, bir hata için diğerinden daha yüksek ağırlığa sahip olan bir kayıp işlevi kullanılarak değiştirilebilir. Bu, eşit olmayan hata oranları üreten bir kurala yol açacaktır.

Regresyonda, negatif hatalara bir miktar ağırlık verecek ve pozitif olanlara daha fazla ağırlık verecek ağırlıklı kareler toplamı gibi bir ağırlık fonksiyonu inşa etmek kesinlikle mümkün olacaktır. Bu, ağırlıklı en küçük kareye benzer, fakat biraz farklı olabilir çünkü ağırlıklı en küçük kareler, hata değişkenliğinin öngörücü değişkenler için olası değerlerin alanı üzerinde sabit olmadığı sorunlara yöneliktir. Bu durumda, hata varyansının küçük olduğu bilinen noktalar için ağırlıklar daha yüksek ve hata varyansının büyük olduğu bilinen yerlerde daha yüksektir. Elbette bu, OLS'nin size vereceği değerden farklı olan regresyon parametrelerinin değerlerine yol açacaktır.

— Michael R. Chernick
kaynak