Ridge, satır büyütme kullanarak GLM'leri cezalandırdı mı?

Sırtı regresyonunun, her veri bağımlı değişkenler için 0 ve bağımsız değişkenler için $k$ veya sıfırın kare kökü kullanılarak oluşturulduğu orijinal veri matrisine veri satırları eklenerek elde edilebileceğini okudum . Daha sonra her bağımsız değişken için bir satır eklenir.

Lojistik regresyon veya diğer GLM'ler de dahil olmak üzere tüm vakalar için bir kanıt elde etmenin mümkün olup olmadığını merak ediyordum.

Ridge regresyon minimize .$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(Genellikle bir sabit gereklidir, ancak küçülmez. Bu durumda ve öngörücülere dahil edilir - ancak küçültmek istemiyorsanız, sahte gözlem için karşılık gelen bir satırınız yoktur. Eğer, bunu küçültmek istiyorsun yapmak bunun için bir satır var. içeri sayılmaz sanki ben bunu yazacağım p ve çekmiş değil daha karmaşık bir dava gibi. diğer bir husus bundan önemsiz bir değişikliktir. )$\beta$$p$

Her "y" yi ve karşılık gelen ( p + 1 ) -vektörlerin "x" her birini yazabiliyorsak, ikinci terimi sözde gözlem olarak yazabiliriz .$p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

Ancak muayene ile olsun, x n + j , j = $y_{n+j}=0$ ve diğer tümx n + j , k =0(tipik olarakx n + j , 0 =0 dahil) olsun.$x_{n+j,j}=\sqrt{\lambda}$$x_{n+j,k}=0$$x_{n+j,0}=0$

Sonra

$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$

Bu doğrusal regresyon için çalışır. Lojistik regresyon için işe yaramaz, çünkü sıradan lojistik regresyon, toplam kare artıklarını en aza indirmez.

[Ridge regresyon, böyle sahte gözlem hileleriyle yapılabilecek tek şey değil - bir dizi başka bağlamda ortaya çıkıyorlar]

Bu tarifi GLM'lere genellemek zor değildir çünkü GLM'ler genellikle tekrarlı olarak yeniden ağırlıklandırılmış en küçük kareler kullanılarak sığar . Bu nedenle, her bir yinelemede, bir sırt cezalandırılan GLM elde etmek için bir sırt cezalandırılan ağırlıklı en küçük kareler adımı ile düzenli ağırlıklı en küçük kareler adımı azaltılabilir. Aslında, uyarlanabilir sırt cezalarıyla birlikte bu tarif L0 cezalandırılmış GLM'lerine (en iyi alt küme, yani toplam sıfır olmayan katsayı sayısının cezalandırıldığı GLM'ler) sığdırmak için kullanılır. Bu, örneğin l0ara paketinde uygulanmıştır , ayrıntılar için bu belgeye ve buna bakın.

Ayrıca düzenli bir sırt regresyonunu çözmenin en hızlı kapalı form yolunun kullandığını da belirtmek gerekir.

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

nerede n>=pveya kullanıldığında

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

p>nkesişme olmadan bir model için ne zaman ve ne için.

Bu, satır büyütme tarifini kullanmaktan daha hızlıdır , yani

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

Takılı katsayılarınızda olumsuzluk kısıtlamalarına ihtiyaç duyarsanız,

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

bu da btw'den biraz daha doğru sonuç verir.

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(ve kesinlikle çözüm nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x o zaman doğru çözümdür ).

Olumsuzluk sınırlaması olan davanın dava için nasıl daha da optimize edilebileceğini henüz p > nanlamadım - bunun nasıl yapılacağını bilen biri olursa bana bildirin ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xişe yaramaz]