Ridge ve LASSO bir kovaryans yapısına sahip mi?

İstatistiksel Öğrenme Unsurları'nda (Hastie, Tibshrani & Friedman) Bölüm 3'ü okuduktan sonra, bir kovaryans yapısı göz önüne alındığında, bu sorunun başlığında alıntılanan ünlü büzülme yöntemlerinin uygulanmasının mümkün olup olmadığını merak ettim, ) miktar

$$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$$

normal Bu özellikle benim özel uygulamada, (ve hatta bazen tahmin edilebilecek bir kovaryans yapısı) için farklı varyanslarımız olması ve onları regresyonda. Sırt regresyonu için yaptım: en azından Python / C'deki uygulamamla, katsayıların izlediği yollarda önemli farklılıklar olduğunu görüyorum, bu da her iki durumda da çapraz doğrulama eğrilerini karşılaştırırken dikkat çekicidir.→

$$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$$ $\vec{y}$

Şimdi minimize zaman Açı Regresyon En yoluyla, ancak tüm güzel özellikleri hala geçerli olduğunu ilk kanıtlamak zorunda bunu yapmak için kement uygulamayı deneme hazırlanıyordu yerine . Şimdiye kadar, tüm bunları gerçekten yapan hiçbir iş görmedim, ama bir süre önce, " istatistikleri bilmeyenler bunu yeniden keşfetmeye mahkum " gibi bir şey de okudum (belki Brad Efron tarafından? ), bu yüzden önce burada soruyorum (istatistik literatürüne nispeten yeni gelen olduğum göz önüne alındığında): Bu zaten bu modeller için bir yerde mi yapılıyor? Bir şekilde R'de uygulanmış mı? (aza indirerek sırtın solüsyonu ve uygulama da dahil olmak üzere yerine( 2 $(1)$$(2)$( 2 $(1)$$(2)$, R) lm.ridge kodunda uygulanan nedir?

Cevaplarınız için şimdiden teşekkürler!

Cholesky ayrışmasını bilirsek, , diyelim ki ve cevabı vektörü ve öngörücüler matrisiyle değiştirerek standart algoritmaları (tercih ettiği herhangi bir ceza fonksiyonu ile) kullanabiliriz .$V^{-1} = L^TL$

$$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$$ $Ly$$LX$