Hata oranı lambda Düzenleme parametresinin Dışbükey işlevi midir?

Ridge veya Lasso'daki lambda düzenleme parametresini seçerken önerilen yöntem lambda'nın farklı değerlerini denemek, Doğrulama Kümesindeki hatayı ölçmek ve son olarak en düşük hatayı döndüren lambda değerini seçmektir.

F (lambda) = hatası Convex ise bu benim için bir sorun değil. Böyle olabilir mi? Bu eğrinin birden fazla yerel minimi olabilir (bu, lambda'nın bazı bölgelerinde minimum bir Hata bulmanın, başka bir bölgede daha küçük bir Hata döndüren bir lambda olması olasılığını engellemeyeceği anlamına gelir)

Tavsiyeniz takdir edilecektir.

— rf7
kaynak

Yanıtlar:

Orijinal soru, hata fonksiyonunun dışbükey olması gerekip gerekmediğini sordu. Hayır. Aşağıda sunulan analiz, bu ve değiştirilmiş soru hakkında, hata işlevinin birden fazla yerel minimuma sahip olup olamayacağını soran bir içgörü ve sezgi sağlamayı amaçlamaktadır.

Sezgisel olarak, veriler ve eğitim seti arasında matematiksel olarak gerekli bir ilişki olması gerekmez. Modelin başlangıçta zayıf olduğu, bazı düzenlenme ile daha iyi hale geldiği ve daha sonra tekrar kötüleştiği eğitim verilerini bulabilmeliyiz. Hata eğrisi bu durumda dışbükey olamaz - en azından yaparsanız farklılık parametresi düzenlileştirme değil için . $0$ $\infty$

Not dışbükey eşsiz bir minimuma sahip eşdeğer değildir! Bununla birlikte, benzer fikirler birden fazla yerel minimumun mümkün olduğunu göstermektedir: Düzenleme sırasında ilk önce takılan model, diğer eğitim verileri için kayda değer bir şekilde değişmezken bazı eğitim verileri için daha iyi olabilir ve daha sonra diğer eğitim verileri vb. İçin daha iyi olacaktır. bu tür eğitim verilerinin karışımı çoklu yerel minimum üretmelidir. Analizi basit tutmak için bunu göstermeye çalışmam.

Düzenle (değiştirilen soruya cevap vermek için)

Aşağıda sunulan analizden ve arkasındaki sezgiden o kadar emindim ki, mümkün olan en kaba şekilde bir örnek bulmaya karar verdim: Küçük rastgele veri setleri oluşturdum, üzerlerinde bir Kement çalıştırdım, küçük bir eğitim seti için toplam kare hatasını hesapladım, ve hata eğrisini çizdi. Birkaç deneme, iki minima ile bir tane üretti. Vektörler şeklinde olan özellikleri ve ve tepki . $(x_1,x_2,y)$ $x_1$ $x_2$ $y$

Eğitim verileri

(1, 1, - 0.1), (2, 1, 0.8), (1, 2, 1.2), (2, 2, 0.9)

$(1,1,-0.1),\ (2,1,0.8),\ (1,2,1.2),\ (2,2,0.9)$

Test verisi

(1, 1, 0.2), (1, 2, 0.4)

$(1,1,0.2),\ (1,2,0.4)$

Kement, tüm argümanların varsayılan değerlerinde bırakılmasıyla glmnet::glmmetin kullanılarak çalıştırıldı R. X eksenindeki değerleri, bu yazılım tarafından bildirilen değerlerin karşılıklarıdır (çünkü cezasını ile parametreleştirdiği için ). $\lambda$ $1/\lambda$

Birden çok yerel minima ile bir hata eğrisi

analiz

Diyelim dikkate herhangi parametreler uydurma düzgünleştirilmesi yöntemi verileri ve yanıtları gelen Ridge Regresyon ve Lasso için bu özellikler, Common sahiptir: $\beta=(\beta_1, \ldots, \beta_p)$ $x_i$ $y_i$

(Parametrelendirme) Yöntem, karşılık gelen düzensiz model ile gerçek sayılarıyla parametrelendirilir . $\lambda \in [0, \infty)$ $\lambda=0$
(Süreklilik) parametre tahmini sürekli bağlıdır ve özellikler için tahmin edilen değerler ile sürekli olarak değişen . $\hat\beta$ $\lambda$ $\hat\beta$
(Büzülme) de , . $\lambda\to\infty$ $\hat\beta\to 0$
Herhangi bir özellik vektörü için (Sonluluk) gibi kestirim . $x$ $\hat\beta\to 0$ $\hat y(x) = f(x, \hat\beta) \to 0$
(Monoton hatası) herhangi bir değer karşılaştırma hata fonksiyonu tahmin değeri , , tutarsızlık artar böylece gösterimde bazı kötüye ile, biz bunu ifade edebilir . $y$ $\hat y$ $\mathcal{L}(y, \hat y)$ $|\hat y - y|$ $\mathcal{L}(|\hat y - y|)$

(Sıfır girişi herhangi bir sabitle değiştirilebilir.) $(4)$

Veriler, ilk (unregularized) parametresi tahmini şekildedir varsayalım sıfır değildir. Let yapı bir gözlem oluşan bir eğitim veri kümesi olduğu için . (Böyle bir bulmak mümkün değilse , ilk model çok ilginç olmayacaktır!) $\hat\beta(0)$ $(x_0, y_0)$ $f(x_0, \hat\beta(0))\ne 0$ $x_0$ . $y_0=f(x_0, \hat\beta(0))/2$

Varsayımlar hata eğrisi anlamına şu özelliklere sahiptir: $e: \lambda \to \mathcal{L}(y_0, f(x_0, \hat\beta(\lambda))$

(nedeniyle seçimi ). $e(0) = \mathcal{L}(y_0, f(x_0, \hat\beta(0)) = \mathcal{L}(y_0, 2y_0) = \mathcal{L}(|y_0|)$ $y_0$
(nedeniyle olarak , , nereden ). $\lim_{\lambda\to\infty}e(\lambda) = \mathcal{L}(y_0, 0) = \mathcal{L}(|y_0|)$ $\lambda\to\infty$ $\hat\beta(\lambda)\to 0$ $\hat{y}(x_0)\to 0$

Böylece, grafiği sürekli olarak eşit derecede yüksek (ve sonlu) uç noktayı birbirine bağlar.

Niteliksel olarak, üç olasılık vardır:

Eğitim seti için tahmin asla değişmez. Bu olası değildir - seçtiğiniz herhangi bir örnek bu özelliğe sahip olmayacaktır.
Bazı ara tahminler olan kötü başında daha veya sınırlamaz . Bu işlev dışbükey olamaz. $0\lt \lambda \lt \infty$ $\lambda=0$ $\lambda\to\infty$
Tüm ara tahminler ile . Süreklilik en az bir en az olacaktır ima hangi yakın, dışbükey olması gerekir. Ancak asimptotik olarak sonlu bir sabite yaklaştığından , yeterince için dışbükey olamaz . $0$ $2y_0$ $e$ $e$ $e(\lambda)$ $\lambda$

Şekildeki dikey kesikli çizgi, grafiğin dışbükeyden (solda) dışbükey olmayana (sağda) değiştiğini göstermektedir. ( Bu şekilde yakınında dışbükey olmayan bir bölge de vardır , ancak genel olarak durum böyle olmayabilir.) $\lambda\approx 0$

— whuber
kaynak

Ayrıntılı cevabınız için teşekkür ederim. Mümkünse soruyu düzenlediğim gibi inceleyin ve yanıtınızı güncelleyin.

— rf7

Harika cevap (+1). Pratikte, genellikle çok az eğitim ve test veri noktası olmadığını düşünüyorum. Aynı (sabit ve yeterince düzenli) dağıtımdan yeterli eğitim ve test veri noktası alındığında bu cevabın sonucu değişiyor mu? Özellikle, bu senaryo altında, yüksek olasılıkla benzersiz bir yerel minimum var mı?

— user795305

@Ben Önemli olan test noktası sayısı değildir: bu sonuç tamamen test noktalarının eğitim noktalarının dağılımına göre dağılımına bağlıdır. Bu nedenle, "yüksek olasılıklı" meselesi, regresör değişkenlerinin çok değişkenli dağılımı hakkında bazı özel varsayımlar yapılmadan cevaplanmayacaktır. Ayrıca, oyundaki birçok değişkenle, bu çoklu yerel minima fenomeni çok daha muhtemel olacaktır. Ben şüpheli (değişkenler olarak birçok gözlemler gibi pek çok kez) büyük bir test setinin rastgele seçim olabilir genellikle benzersiz bir küresel min var.

— whuber

@whuber Teşekkürler! Katılıyorum: Eğitim ve test noktaları arasındaki (gerçek) dağılım aynı olmalı ve eğitim ile test setinin ampirik dağılımlarının anlaşmaya yetecek kadar örnek olması gerekir. (Görünüşe göre önceki yorumumda çok kötü ifade ettim.) Örneğin,

müştereken normal dağılıma sahipse (dejenere olmayan kovaryans ile), hata eğrisinin benzersiz bir yerel min'in 1'e yakınsama olasılığından şüpheleniyorum ( diyelim ki, orada, eğer

eğitimde numuneler ve test seti

ile

sabit (hatta göreceli yavaş artan

))

(x, y)

$(\mathbf x, y)$

n

$n$

n \to \infty

$n \to \infty$

p

$p$

n

$n$

— user795305

$\newcommand{\dbeta}{\frac{\partial}{\partial \lambda} \hat\beta_\lambda}$ $\newcommand{\ddbeta}{\frac{\partial^2}{{\partial \lambda}^2} \hat\beta_\lambda}$

Bu cevap özellikle kement ile ilgilidir (ve sırt gerilemesi için geçerli değildir).

Kurmak

Bir yanıtı modellemek için kullandığımız değişkenleri olduğunu varsayalım . Varsayalım eğitim veri noktasına ve doğrulama veri noktasına sahibiz . $p$ $n$ $m$

Eğitim girdisi ve yanıt . Kementi bu eğitim verisinde kullanacağız. Kendisine, koyun eğitim verilerinden tahmin edilen bir katsayı ailesi . Biz seçecektir hangi giriş ile, bir doğrulama seti üzerindeki hata dayalı tahmincisi olarak kullanmak için $X_{(1)} \in \mathbb{R}^{n \times p}$ $y_{(1)} \in \mathbb{R}^n$

\begin{matrix} (1) & {\hat{β}}_{λ} = \arg min_{β \in {R,}^{p}} ‖ y_{(1)} - X_{(1)} β ‖_{2}^{2} + λ ‖ β ‖_{1}, \end{matrix}

$\hat\beta_\lambda = \arg\min_{\beta \in \mathbb{R}^p} \|y_{(1)} - X_{(1)} \beta\|_2^2 + \lambda \|\beta\|_1, \tag{1}$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

ve tepki

. İle

X_{(2)} \in R^{m \times p}

$X_{(2)} \in \mathbb{R}^{m \times p}$

y_{(2)} \in R^{m}

$y_{(2)} \in \mathbb{R}^m$

Biz hata fonksiyonu okuyan ilgilenen

eden veri-güdümlü tahmin neden olur

\begin{matrix} (2) & \hat{λ} = \arg min_{λ \in {R,}_{+}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}, \end{matrix}

$\hat\lambda = \arg\min_{\lambda \in \mathbb{R}_+} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2, \tag{2}$

e (λ) = ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}

$e(\lambda) = \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2$

{\hat{β}}_{\hat{λ}}

$\hat\beta_{\hat\lambda}$

Hesaplama

Şimdi, denklem deki amacın ikinci türevini , ' ler veya 'ler üzerinde herhangi bir dağılım varsayımı yapmadan hesaplayacağız . Farklılaşmayı ve bazı yeniden örgütlenmesini kullanarak, (resmen) hesaplamak o $(2)$ $X$ $y$ Yanaisimli parçalı doğrusal içiniçin (, türevi kement çözelti yolu düğüm sonlu grubu olmak üzere)

\begin{aligned} \frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} & = \frac{\partial}{\partial λ} {- 2 y_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} + 2 {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ}} \\ = - 2 y_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 {({\hat{β}}_{λ})}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 \frac{\partial}{\partial λ} {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)}^{T} \frac{\partial}{\partial λ} {\hat{β}}_{λ} \\ = - 2 {{(y_{(2)} - X_{(2)} {\hat{β}}_{λ})}^{T} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} - ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2}} . \end{aligned}

$\begin{align*} \frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 & = \frac{\partial}{\partial \lambda} \left\{ -2 y_{(2)}^T X_{(2)} \dbeta + 2 \hat\beta_\lambda^T X_{(2)}^T X_{(2)} \dbeta \right\} \\ & = -2 y_{(2)}^T X_{(2)} \ddbeta + 2 \left( \hat\beta_\lambda \right)^T X_{(2)}^T X_{(2)} \ddbeta + 2 \dbeta^T X_{(2)}^T X_{(2)}^T \dbeta \\ & = -2 \left\{ \left( y_{(2)} - X_{(2)} \hat\beta_\lambda \right)^T \ddbeta - \|X_{(2)} \dbeta\|_2^2 \right\}. \end{align*}$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

λ \notin K

$\lambda \not\in K$

K

$K$

bir parçalı sabit ve

\frac{\partial}{\partial λ} {\hat{β}}_{λ}

$\dbeta$

isimli tüm sıfır

. Bu nedenle,

\frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ}

$\ddbeta$

λ \notin K

$\lambda \not\in K$

bir negatif olmayan bir fonksiyon

\frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} = 2 ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2},

$\frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 = 2 \|X_{(2)} \dbeta\|_2^2,$

λ

$\lambda$

Sonuç

$X_{(2)}$ $\{X_{(1)}, y_{(1)} \}$ $X_{(2)} \dbeta \neq 0$ $\lambda < \lambda_\max$ $e(\lambda)$ $\mathbb{R} \setminus K$ $\hat\beta_\lambda$ $e(\lambda)$

Son olarak, kement çift gelen, biliyoruz tekdüze bir şekilde azalır artar. Eğer bunu kurabilirsek $\|X_{(1)} \hat\beta_\lambda\|_2^2$ $\lambda$ $\|X_{(2)} \hat\beta_\lambda\|_2^2$ $e(\lambda)$ $\mathcal{L} \left( X_{(1)} \right) = \mathcal{L} \left( X_{(2)} \right)$

— user795305
kaynak

Yalnızca itimat

fonksiyonu doğrusal sürekli parçalı olarak

sonuçlandırmak

kesinlikle dışbükeydir. Bu kesintinin genellikle geçerli olup olmadığını görelim. Bu tür bir fonksiyonudur

\hat{β}

$\hat\beta$

λ

$\lambda$

\hat{e}

$\hat e$

\hat{β} (λ) = | λ - [λ] |

$\hat\beta(\lambda)=|\lambda-[\lambda]|$

[]

$[]$

y_{(2)} = 0

$y_{(2)}=0$

X_{(2)} = 1

$X_{(2)}=1$

\hat{e} (λ) = \hat{β} (λ)^{2}

$\hat {e}(\lambda)=\hat\beta(\lambda)^2$

@whuber İyi bir nokta! Teşekkürler! Bu gönderiyi daha sonra düzenleyeceğim.

— user795305