Kement regresyonunun zaman karmaşıklığı nedir?

Satır veya sütun sayısı arttıkça Kement regresyonunun asimptotik zaman karmaşıklığı nedir?

Kementin $l_1$ düzenleyici bir doğrusal model olduğunu hatırlayın .

Parametrelerin bulunması, parametrelerin tarafından verildiği, kısıtlanmamış bir optimizasyon problemi olarak formüle edilebilir

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$ .

Kısıtlı formülasyonda parametreler

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Bu ikinci dereceden bir programlama problemidir ve bu nedenle polinomdur.

$\alpha||w||_1$

@JacobMick daha geniş bir genel bakış ve bir inceleme makalesine bir bağlantı sağlarken, bir "kısayol yanıtı" vereyim (cevabının özel bir durumu olarak düşünülebilir).

$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• K 3 ⩾ K 2 n O ( K 3$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Referanslar:

• Efron, Bradley ve diğ. "En az açı regresyonu." Yıllık İstatistikler 32.2 (2004): 407-499.
• Schmidt, Mark. "L1-norm düzenlenmesi ile en küçük kareler optimizasyonu." CS542B Proje Raporu (2005).