Gecikme sırasını mı tercih ediyorsunuz?

9

Formun boyuna verilerine sahip olduğumu varsayalım $\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$ (Birden fazla gözlemim var, bu sadece tek bir form). İle ilgili kısıtlamalarla ilgileniyorum $\Sigma$ . Kısıtlanmamış $\Sigma$ almaya eşdeğerdir

Y_{j} = α_{j} + \sum_{ℓ = 1}^{j - 1} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j}

$Y_j = \alpha_j + \sum_{\ell = 1} ^ {j - 1} \phi_{\ell j} Y_{j-\ell} + \varepsilon_j$ ile

ε_{j} \sim N (0, σ_{j})

$\varepsilon_j \sim N(0, \sigma_j)$ .

Tahmin edilmesi gerektiği için bu genellikle yapılmaz $O(J^2)$ kovaryans parametreleri. Bir model "gecikme- $k$ "alırsak

Y_{j} = α_{j} + \sum_{ℓ = 1}^{k} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j},

$Y_j = \alpha_j + \sum_{\ell = 1} ^ k \phi_{\ell j} Y_{j - \ell} + \varepsilon_j,$ yani sadece önceki

k

$k$ tahmin etmek için terimler

Y_{j}

$Y_j$ Tarihten

Gerçekten yapmak istediğim şey, bazılarını sıfırlamak için bir tür büzülme fikri kullanmaktır. $\phi_{\ell j}$ LASSO gibi. Ama mesele şu ki, gecikmeli modelleri tercih etmek için kullandığım yöntemi istiyorum. $k$ bazı $k$ ; Daha yüksek sıradaki gecikmeleri, düşük sıradaki gecikmelerden daha fazla cezalandırmak istiyorum. Bence bu, öngörücülerin yüksek derecede korelasyonlu olması nedeniyle özellikle yapmak istediğimiz bir şeydir.

Ek bir sorun, eğer $\phi_{35}$ küçüldü $0$ Ben de isterim ki $\phi_{36}$ küçüldü $0$ yani koşullu dağılımların hepsinde aynı gecikme kullanılır.

Bu konuda spekülasyon yapabilirdim, ama tekerleği yeniden icat etmek istemiyorum. Bu tür bir sorunu çözmek için tasarlanmış herhangi bir LASSO tekniği var mı? Gecikme emirlerinin aşamalı olarak dahil edilmesi gibi, tamamen başka bir şey yapmam daha iyi olur mu? Model alanım küçük olduğundan, $L_0$ sanırım bu sorunun cezası?

feature-selection lasso shrinkage

— insan
kaynak

2

Doğrulama işlemini k = 0'dan maksimum değere kadar tekrar tekrar yapabilir ve performansı k'ye göre çizebilirsiniz. Model daha önce görmediği veriler üzerinde test edildiğinden, karmaşık modellerin daha iyi performans göstereceğine dair bir garanti yoktur ve model aşırı uyum nedeniyle çok karmaşık hale gelirse performansta bir düşüş görmeniz gerekir. Şahsen, bunun keyfi bir ceza faktörüne sahip olmaktan daha güvenli ve haklı olduğunu düşünüyorum, ancak kilometreniz değişebilir.

Ayrıca, Kement'in soruyu nasıl cevapladığını gerçekten takip etmiyorum. Çok kısıtlayıcı görünüyor, katsayıların sırasını tamamen zorluyor. Oysa asıl soru, bir çözümü olan bazı veriler için sonuçlanabilir. $\phi_{lj}$ l ile kesinlikle azalmıyor.

— Nir Friedman
kaynak

Sorunuza LaTeX eklemek için, ifadeyi dolar işaretleri ($) arasına alın.

— Patrick Coulombe

1

(1) Sadece modelden, katsayı sıralamasının arzu edildiği açık değildir, ancak büyük ölçüde mantıklıdır. Tekrarlanan ölçümlerde, klinik çalışmada, örneğin, küçük bir bozulmanın beklemesinin önemli bir nedeni yoktur.

Y_{j - 2}

$Y_{j-2}$ stokastik olarak etkilemek

Y_{j}

$Y_j$ küçük bir rahatsızlıktan daha fazlası

Y_{j - 1}

$Y_{j-1}$ . Düzenli LASSO, bunu daha iyi bir şekilde kullanır, bu doğru olmayabilir.

— guy

(2) Genel olarak, bu CV stratejisini en azından kısmen çok dogmatik olduğu için kullanmayacağım. Tamamen atmak yerine, gecikmeyi makul bir şekilde küçülterek daha iyi tahminler alabilirim.

— guy

Nir, sipariş edilen LASSO hakkında faydalı bir yorum. Cevabımı biraz daha kapsamlı olacak şekilde düzenledim. Teşekkürler!

— Sean Easter

Teşekkürler Sean. Adam, çok dogmatik olduğunu sanmıyorum. Taş taşı değil, değişmesine izin veriyorsunuz. Seçtiği k, aşırı sığmanın başlangıcında olacaktır. Ayrıca a priori bilgi varsayımına kesinlikle katılmıyorum. Makul görünen ve bunu bilen bir şey tamamen farklı. İtiraf etmeliyim ki, geleneksel istatistiklerde hiç anlamadığım çapraz doğrulamaya karşı bir direnç var gibi görünüyor. Herhangi bir gün varsayımları eklemeye kıyasla örnek verilere ilişkin tahminsel etkinliği seçerdim.

— Nir Friedman

2

Sipariş LASSO aradığınız edilecek ne görünüyor: Bu regularize regresyon katsayılarını hesaplar $\beta_{1...j}$ standart LASSO'da olduğu gibi, ancak ek kısıtlamaya tabidir. $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$ .

Bu, yüksek dereceli gecikmeler için katsayıları sıfırlamanın ikinci hedefini başarır, ancak daha düşük bir gecikme modelini tercih etmenin tek kısıtlamasından daha kısıtlayıcıdır. Diğerlerinin de belirttiği gibi, bu haklı çıkarmak çok zor olabilen ağır bir kısıtlamadır.

Uyarılardan vazgeçilen makale, yöntemin hem gerçek hem de simüle edilmiş zaman serisi verileri üzerindeki sonuçlarını sunar ve katsayıları bulmak için algoritmaları detaylandırır. Sonuç bir R paketinden bahsediyor, ancak makale oldukça yeni ve "sipariş edilmiş LASSO" için CRAN araması boş çıkıyor, bu yüzden paketin hala geliştirilmekte olduğundan şüpheleniyorum.

Bu makalede ayrıca, iki düzenleme parametresinin "neredeyse monotonluğu teşvik ettiği" genelleştirilmiş bir yaklaşım sunulmaktadır. (Bkz. Sf. 6.) Başka bir deyişle, rahat bir sıralamaya izin vermek için parametreleri ayarlayabilmelidir. Ne yazık ki, gevşemiş yöntemin ne örnekleri ne de karşılaştırmaları sağlanmıştır. Ancak yazarlar, bu değişikliğin uygulanmasının bir algoritmayı diğeriyle değiştirmek için basit bir mesele olduğunu yazıyor, bu yüzden önümüzdeki R paketinin bir parçası olacağını umuyor.

— Sean Paskalya
kaynak

Teşekkürler, bu son zamanlarda ortaya çıkan bir fikir. Aslında 9 ay önce soruyu sorduğumda sorunu bir arkadaşımla tartışırken aynı fikri buldum, ama asla derinlemesine araştırmadım! Sadece fikrin o roman olmadığını ya da başka birinin zaten bu konuda bir makale yazdığını varsaydım.

— Guy

Oldukça hoş geldiniz! Kendim için bu kadar yeni olmasına şaşırdım.

— Sean Easter

1

İç içe LASSO cezası ( pdf ) kullanılabilir, ancak bunun için R paketi yoktur.

— user53874
kaynak

1

Şu anda, bu bir cevaptan çok bir yorumdur. Belki iç içe LASSO cezasını vs tartışarak biraz genişletebilir misiniz?

— gung - Monica'yı eski

0

Bunu bir öncül olarak yazdığınızı biliyorum, ancak sipariş edilen LASSO'yu, bunun gerekli olan şey olduğundan kesinlikle emin olmadan kullanmam, çünkü sipariş edilen LASSO'nun varsayımları zaman serisi tahmini için doğrudan uygun değildir. Bir karşı örnek olarak, örneğin ölçüm ile hedef arasında on zaman adımının gecikme süresine sahip olduğunuzu düşünün. Açıkça görüldüğü gibi, sıralı LASSO kısıtlamaları ilk dokuz parametreye saçma atmadan bu tür etkileri kaldıramaz.

Buna karşılık, normal LASSO'ya bağlı kalmayı tercih ediyorum ve önceki tüm gözlemleri dahil ediyorum - özellikle model alanınızın küçük olduğunu yazdınız ve LASSO için koordinat iniş optimizasyon rutinleri ( burada açıklandığı gibi ) büyük veri kümeleri için de verimli bir şekilde çalışıyor. Ardından, normalleştirme gücü parametresinin yolunu hesaplayın $\lambda$ ve hangi parametrelerin büyük olanlardan $\lambda$ için $\lambda=0$ . Özellikle daha önce dahil olanlar önemlidir.

Son olarak, uygun bir kriter seçmeli ve parametreyi optimize etmelisiniz $\lambda$ çapraz doğrulama, standart tek boyutlu minimizasyon veya her neyse. Kriter, örneğin "tahmin hatası + dahil edilen değişkenlerin sayısı" (-AIC ölçütü benzeri) gibi bir şey olabilir.

— davidhigh
kaynak

Eğer inanmak için güçlü bir önsel nedenim olmasaydı, katsayıların sıralamasıyla ilgili kısıtlamalarla ilgilenmiyorum . Muhtemel olduğundan şüphelendiğim modeller için sezgisel olarak sipariş edilen LASSO daha verimli olmalıdır. Diğer 9'un 0 olması ile bir gecikme-10 katsayısına sahip olmak benim temel ortamımda bir anlam ifade etmiyor . Bu, meslektaşlarımın üzerinde çalıştığı bir problemdir (gecikmelerde temelli küçülme), ancak Bayesuan fikirlerini kullandılar ve bu yüzden (Bayesci olmayan) bir LASSO'yu düşünmeyeceklerdi.

— Guy

Tamam, ne yaptığını biliyor gibisin. Ancak, sipariş edilen LASSO'nun "bir kez sıfır - her zaman sıfır" ifadenizden daha güçlü bir şekilde kısıtlandığını unutmayın. Alternatif olarak, parametrelerin çarpımsal olarak girdiği bir modeli de düşünebilirsiniz. Daha sonra, göreceli önem bir katsayı sıfır oluncaya kadar büyüyebilir veya azalabilir.

— davidhigh