Kement tasarım matrisi boyutuyla nasıl ölçeklenir?

tasarım matrisim varsa , burada boyut gözlemlerinin sayısı ise, için çözmenin karmaşıklığı nedir? LASSO, wrt ve ? Cevabın , başka türlü hissetmedikçe, yineleme sayısının (yakınsama) nasıl ölçeklendiğinden ziyade, bir LASSO yinelemesinin bu parametrelerle nasıl ölçeklendiğini belirtmesi gerektiğini düşünüyorum . $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

Bu önceki LASSO karmaşıklık sorusunu okudum , ancak burada ve burada glmnet ile ilgili tartışma ile çelişiyor gibi görünüyor . Orada glmnet'in GLM yaklaşımı da dahil olmak üzere birçok algoritma olduğunu biliyorum, ancak bir LASSO bileşenini bir üst algoritmaya değiştirme hakkında bir makale yazıyorum ve genel olarak LASSO karmaşıklığı hakkında, özellikle ve ile ilgili bir tartışma eklemek istiyorum . Ben de temel seyrek olmayan durumda glmnet karmaşıklığını bilmek istiyorum, ama tüm algoritma karmaşıklığı açık olmadığı için başvurulan kağıt biraz kafa karıştırıcı. $d$ $n$

— rnoodle
kaynak

Bu yanıt istatistiklerinin neden neden.stackexchange.com/a/190717/28666 (bağlandığınız ileti dizisinde) sorunuzu yanıtlamadığı açık değil. Detaylandırabilir misin? Ne ile çelişiyor?

— amip

Sayfa 6 [pdf] [1] 'de "Tüm d değişkenleri arasında tam bir döngü ' dir. Ancak, bağlantı verdiğiniz soru durumunu belirtir . Burada karmaşıklığını elde etmek için bir döngü eksik mi? [1]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba Sağladığınız bağlantı LARS algoritması için - GLM yaklaşımı hakkında bilmek istiyorum.

— rnoodle

En az açı regresyonu için

ve koordinat inişi için

referansları doğrudur. Fark, (1) LARS'ın

kesin bir çözüm bulmasıdır (ve bunu OLS problemine tüm karmaşıklığa eşit karmaşıklığa sahip olası

tüm yolundan geçerek

olarak ölçeklendirir.

), (2) koordinat inişi

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

, LASSO probleminin minimuma yaklaşan / 'azalan' LARS

adımkullanır. Koordinat inişiyle ... kimse bilmiyor.

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Sextus Empiricus

Kaynaklardan gelen cevaplar,

En az açı regresyonu için $\mathcal{O}(d^2n)$
Koordinat inişi için $\mathcal{O}(dn)$

, doğrudur.

Fark şu ki

LARS denklemleri kapalı bir biçimde yazılır ve kesin bir çözüm bulur

$O(d^2n)$

süre

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

LARS'ın ölçeklendirilmesi hesaplama karmaşıklığını içeren bir sorundur. Koordinat inişinin ölçeklendirilmesi, hesaplama karmaşıklığı ve yakınsamasını içeren bir sorundur .

— Sextus Empiricus
kaynak