Doğrusal regresyon modellerinde LASSO, sırt ve elastik-net regülasyonun farkındayım.

Soru:

1. Bu (veya benzeri) cezalandırılmış bir tahmin ARIMA modellemesine (boş MA parçası olmadan) uygulanabilir mi?

ARIMA modellerini oluştururken, önceden seçilmiş bir maksimum gecikme sırasını ( , ) düşünün ve ardından bazı en uygun siparişi seçin ve q \ leqslant q_ {max} örn. AIC veya AICc'yi minimize ederek. Peki bunun yerine normalleştirme kullanılabilir mi? q m a x p ⩽ p m a x q ⩽ q m a $p_{max}$$q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$

Diğer sorularım :

2. ( P_ {max} , q_ {max} ) 'a kadar olan tüm terimleri dahil edebilir miyiz, ancak katsayıların boyutunu cezalandırabilir miyiz (potansiyel olarak sıfıra kadar)? Mantıklı olur mu?$p_{max}$$q_{max}$
3. Olursa, bu R veya başka bir yazılımda uygulandı mı? Değilse, sorun neydi?

Biraz ilgili bir yazı burada bulunabilir .

Soru 1'in Cevabı.

Chen & Chan "Uyarlanabilir Kement yoluyla ARMA seçimini alt kümele" (2011) *, hesaplama gerektiren en yüksek olasılık tahmininden kaçınmak için bir geçici çözüm kullanır. Gazeteye atıfta bulunarak

zaman serisinin uyarlanabilir bir Kement regresyonunu kendi gecikmelerine ve s'ye uzun bir otoregresyonun takılmasından elde edilen artıkların uygun bir Kement regresyonunu yerleştirerek en uygun alt kümeyi ARMA modelini bulmayı öneriyoruz . <...> [U] ılımlı düzenlilik koşulları altında, önerilen yöntem oracle özelliklerini elde eder, yani, örnek boyutu sonsuza yükseldikçe bire eğilimli doğru alt küme ARMA modelini tanımlar ve <...> sıfır olmayan katsayıların tahmin edicileri, sıfır katsayıların a priori olduğu zamanki gibi, sınırlama dağılımı ile asimptotik olarak normaldir.y $y_t$$y_t$

İsteğe bağlı olarak, seçilen alt küme ARMA modelleri için maksimum olabilirlik tahmini ve model teşhisi önerirler.

Wilms ve diğ. "Yüksek Boyutlu Vektör AutoRegressive Hareketli Ortalamaların Seyrek Belirlenmesi ve Tahmini" (2017) istediğimden daha fazlasını yapıyor. Tek değişkenli bir ARIMA modeli yerine, yüksek boyutlarda bir vektör ARMA (VARMA) ve tahmin ve gecikme sırası seçimi için bir cezası kullanırlar . Tahmin algoritmasını sunarlar ve bazı asimptotik sonuçlar geliştirirler.$L_1$

Özellikle, iki aşamalı bir prosedür uygularlar. Tahmin edilmesi bir VARMA modeli , ancak gecikme sipariş ve uknown. p

• Aşama 1'de, VARMA modelini yüksek dereceli bir VAR modeliyle yaklaşık olarak hesaplar ve otoregresif parametrelere gecikmeye dayalı hiyerarşik bir grup-kement cezası yerleştiren Hiyerarşik VAR tahmincisi kullanarak tahmin ederler.
  (Gecikme sırası . Model denklemler birlikte tahmin edilir ve hataların Frobenius normu hiyerarşik bir grupla en aza indirilir - regresyon katsayıları için de ceza.) Aşama 2'deki gerçek hatalar için vekalet olarak kullanılmak üzere artık ederler.| | y - y | | F 2 ε :=y -$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• Aşama 2'de, X'in Aşama 1'deki gecikmiş kalıntıları temsil ettiği bir VARX modeli tahmin ederler. Yani, bir VARMA modelini çıkarırlar, ancak gerçek hatalar yerine tahmini kalıntılar kullanırlar, tıpkı Sahne Alanı'nda olduğu gibi aynı tahmin edicinin (hiyerarşik grup-kement) tekrar uygulanmasına izin verir 1. ( ve olacak şekilde ayarlanır .)

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$$\lfloor 1.5\sqrt{T} \rfloor$

Wilms ve ark. bir R paketin uygulanan "büyük zaman" .

Referanslar

• Chen, K. ve Chan, KS (2011). Adaptif Kement ile ARMA seçimini alt kümele İstatistikler ve Arayüzü , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J. ve Matteson, DS (2017). Yüksek Boyutlu Vektör OtoRegresif Hareketli Ortalamaların Seyrek Belirlenmesi ve Tahmini. arXiv ön baskı arXiv: 1707.09208.

^{* Bağlantı için @ hejseb'e teşekkürler.}