Gecikmeli çoklu doğrusal regresyon ve zaman serileri arasındaki “mekanik” fark nedir / nelerdir?

Şu anda veri mühendisliği alanında yüksek lisans eğitimi almak isteyen işletme ve ekonomi mezunuyum. Doğrusal regresyon (LR) ve sonra zaman serisi analizi (TS) üzerinde çalışırken aklıma bir soru geldi. Neden çoklu lineer regresyon kullanmak ve ona gecikmeli değişkenler eklemek yerine yepyeni bir yöntem, yani zaman serisi (ARIMA) yaratalım (gecikmeler sırası ACF ve PACF kullanılarak belirlenir)? Böylece öğretmen konu hakkında biraz deneme yazmamı önerdi. Boş elini yardım etmeye gelmezdim, bu yüzden konuyla ilgili araştırmamı yaptım.

LR kullanırken, Gauss-Markov varsayımlarının ihlal edilmesi durumunda OLS regresyonunun yanlış olduğunu ve bunun zaman serisi verilerini (otokorelasyon vb.) Kullanırken olduğunu biliyordum. (bununla ilgili başka bir soru, bir GM varsayımının bağımsız değişkenlerin normal olarak dağıtılması mı yoksa sadece bağımsız değişkenlere koşullu bağımlı değişken mi?)

Ayrıca, burada önerdiğimi düşündüğüm dağıtılmış bir gecikme regresyonu kullanırken ve parametreleri tahmin etmek için OLS kullanarak değişkenler arasındaki çoklu bağlantıların ortaya çıkabileceğini (açıkçası) tahmin ederim.

Bir de TS ve LR hakkında benzer yazı burada, @IrishStat söyledi:

... regresyon modeli, dinamik regresyon modeli veya XARMAX modeli olarak da bilinen bir Transfer Fonksiyonu Modelinin özel bir halidir. Göze çarpan nokta, zaman serilerindeki model tanımlamasının, yani uygun farkların, X'lerin uygun gecikmelerinin, uygun ARIMA yapısının, Bakliyat, seviye Kaymaları, Yerel zaman eğilimleri, Mevsimsel Bakliyat ve birleşim gibi tanımlanmamış deterministik yapının uygun tanımlanmasıdır. parametrelerdeki değişiklikler veya hata sapmaları dikkate alınmalıdır.

(Autobox'ta Box Jenkins'e karşı LR hakkındaki makalesini de okudum.) Ama bu hala sorumu çözmüyor (ya da en azından benim için RL ve TS'nin farklı mekaniğini netleştirmiyor).

Gecikmeli değişkenlerde bile OLS problemlerinin ortaya çıktığı ve bunun ne etkili ne de doğru olmadığı açıktır, ancak maksimum olasılık kullanılırken bu sorunlar devam ediyor mu? ARIMA'nın maksimum olasılıkla tahmin edildiğini okudum, bu yüzden gecikmeli LR OLS yerine ML ile tahmin edilirse, "doğru" katsayıları verir mi (sipariş MA'sı gibi gecikmeli hata terimlerini de içerdiğimizi varsayalım) q).

Kısacası, sorun OLS mu? ML uygulanarak sorun çözüldü mü?

Neden çoklu doğrusal regresyon kullanmak ve buna gecikmeli değişkenler eklemek yerine (ACF ve PACF kullanılarak belirlenen gecikme sırası ile) yepyeni bir yöntem, yani zaman serisi (ARIMA) yaratılmalı mı?

Bir acil nokta doğrusal bir regresyonun sadece gözlenen değişkenlerle çalıştığı, ARIMA ise hareketli ortalama kısmında gözlemlenmemiş değişkenleri içerdiği; dolayısıyla ARIMA bir bakıma daha esnek veya daha geneldir. AR modeli doğrusal bir regresyon modeli olarak görülebilir ve katsayıları OLS kullanılarak tahmin edilebilir; burada , gözlemlenen bağımlı değişkenin gecikmelerinden oluşur . Bu arada, MA veya ARMA modelleri OLS çerçevesine uymaz, çünkü bazı değişkenler, yani gecikmeli hata terimleri gözlemlenmez ve bu nedenle OLS tahmincisi mümkün değildir.$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$

Bir GM varsayımı, bağımsız değişkenlerin normal olarak dağıtılması gerektiğidir? ya da sadece bağımsız değişkenlere bağlı bağımlı değişken?

Normallik varsayımı bazen bağımsız değişkenler için değil model hataları için çağrılır. Bununla birlikte, ne OLS tahmincisinin tutarlılığı ve verimliliği için ne de Gauss-Markov teoreminin geçerli olması için normallik gereklidir. Gauss-Markov teoremi hakkındaki Wikipedia makalesinde açıkça "hataların normal olması gerekmiyor" belirtilmektedir.

değişkenler arasındaki çoklu bağlantı (açık bir şekilde) ortaya çıkabilir, bu nedenle tahminler yanlış olur.

Yüksek derecede çoklu doğrusallık, OLS tahmincisinin şişirilmiş varyansı anlamına gelir. Ancak, çoklu doğrusallık mükemmel olmadığı sürece OLS tahmincisi hala MAVİ'dir. Böylece ifadeniz doğru görünmüyor.

Gecikmeli değişkenlerde bile OLS problemlerinin ortaya çıktığı ve bunun ne etkili ne de doğru olmadığı açıktır, ancak maksimum olasılık kullanılırken bu sorunlar devam ediyor mu?

Bir AR modeli hem OLS hem de ML kullanılarak tahmin edilebilir; bu yöntemlerin her ikisi de tutarlı tahmin ediciler vermektedir. MA ve ARMA modelleri OLS ile tahmin edilemez, bu nedenle ML ana seçimdir; yine, tutarlıdır. Diğer ilginç özellik verimlilik ve burada tamamen emin değilim (ama açıkça soru oldukça standart olduğu gibi bir yerde bilgi olmalıdır). "Doğruluk" üzerine yorum yapmayı denerdim, ama bununla ne demek istediğinden emin değilim.

Bu harika bir soru. ARIMA modelleri ile çoklu doğrusal regresyon arasındaki gerçek fark hata yapınızda yatmaktadır. Çoklu değişken regresyon modelindeki bağımsız değişkenleri, @IrishStat'ın söylediği gibi zaman serisi verilerinize uyacak şekilde değiştirebilirsiniz. Ancak bundan sonra, doğru katsayı ve test sonuçlarını elde etmek için ARIMA hatalarını çoklu regresyon modelinize dahil etmeniz gerekir. Bu konuda harika bir ücretsiz kitap: https://www.otexts.org/fpp/9/1 . ARIMA ve çoklu regresyon modellerini birleştirmeyi tartışan bölümü bağladım.

Güzel soru, aslında her ikisini de Veri Bilimcisi olarak yaptım. Zaman serisi modellerinin oluşturulması kolaydır (R'deki tahmin paketi, 5 saniyede daha az sürede bir tane oluşturmanıza olanak tanır), regresyon modelleriyle aynı veya daha doğru vb. Zaman serilerinin felsefi etkileri de vardır, hiçbir şey bilmeden tahmin edebiliyorsanız, bu ne anlama geliyor?

Darlington ile ilgileniyorum. 1) "Regresyon çok daha esnek ve güçlü, daha iyi modeller üretiyor. Bu nokta çalışma boyunca çok sayıda noktada geliştirildi."

Hayır, tam tersi. Regresyon modelleri, zaman serisi modellerinden çok daha fazla varsayım yapar. Varsayımlar ne kadar az olursa, depreme (rejim değişikliği) dayanma olasılığı da o kadar yüksektir. Ayrıca, zaman serisi modelleri ani kaymalara daha hızlı yanıt verir.

2) "Regresyona hakim olmak, en azından diğer alanlarda regresyon kullanımına zaten aşina olanlar için ARIMA'dan çok daha kolaydır." Bu dairesel bir akıl yürütmedir.

3) "Regresyon, mümkünse sonuç vermesi garanti edilen" kapalı "bir hesaplama algoritması kullanır, ARIMA ve diğer birçok yöntem de çoğu zaman bir çözüme ulaşamayan yinelemeli algoritmalar kullanır. Sık sık ARIMA yöntemini gördüm" msgstr "regresyon yöntemine hiçbir problem vermeyen veriler."

Regresyon size bir cevap veriyor, ama doğru cevap mı? Doğrusal regresyon ve makine öğrenme modelleri oluşturursam ve hepsi aynı sonuca varırsa, bu ne anlama geliyor?

Özetle, evet regresyon ve zaman serileri aynı soruya cevap verebilir ve teknik olarak zaman serileri teknik olarak regresyon (oto-regresyon da olsa). Zaman serisi modelleri, regresyon modellerinden daha az karmaşık ve dolayısıyla daha sağlamdır. Uzmanlaşmayı düşünüyorsanız, TS modelleri tahmin konusunda uzmanlaşırken, regresyon anlama konusunda uzmanlaşmıştır. Açıklamak veya tahmin etmek isteyip istemediğinize bağlıdır.

Transfer fonksiyonları ve çoklu doğrusal regresyon (normal kullanımında) arasındaki en derin farkın amaçlarında yattığını düşünürken, çoklu regresyonlar bağımlı değişkenin ana nedensel gözlemlenebilir belirleyicilerini bulmak için yönlendirilirken transfer fonksiyonları sadece bir bağımlı üzerindeki etkiyi tahmin etmek ister belirli bir eksojen değişkenin varyasyonunun değişkeni ... Özetle, çoklu regresyon, çok özel etkileri tahmin etmek için kapsamlı bir açıklama ve transfer fonksiyonuna yöneliktir ...