Bir korelasyon belirlemek için sabit olmayan 2 zaman serisini nasıl karşılaştırabilirim?

Zaman içinde ortalama ölüm yaşını gösteren iki veri serim var. Her iki seri de zamanla artan ölüm yaşı gösterir, ancak biri diğerinden çok daha düşüktür. Alt numunenin ölüm yaşındaki artışın üst numuneden önemli ölçüde farklı olup olmadığını belirlemek istiyorum.

Yıllara göre (1972'den 2009'a kadar) üç ondalık basamağa yuvarlanmış olarak sıralanan veriler şunlardır :

Cohort A    70.257  70.424  70.650  70.938  71.207  71.263  71.467  71.763  71.982  72.270  72.617  72.798  72.964  73.397  73.518  73.606  73.905  74.343  74.330  74.565  74.558  74.813  74.773  75.178  75.406  75.708  75.900  76.152  76.312  76.558  76.796  77.057  77.125  77.328  77.431  77.656  77.884  77.983
Cohort B    5.139   8.261   6.094   12.353  11.974  11.364  12.639  11.667  14.286  12.794  12.250  14.079  17.917  16.250  17.321  18.182  17.500  20.000  18.824  21.522  21.500  21.167  21.818  22.895  23.214  24.167  26.250  24.375  27.143  24.500  23.676  25.179  24.861  26.875  27.143  27.045  28.500  29.318

Her iki seri de sabit değildir - lütfen ikisini nasıl karşılaştırabilirim? STATA kullanıyorum. Herhangi bir tavsiye minnetle alınır.

Bu basit bir durum; hadi öyle tutalım. Anahtar, önemli olan şeylere odaklanmaktır:

• Verilerin yararlı bir tanımının elde edilmesi.

• Bu tanımdan bireysel sapmaları değerlendirmek.

• Yorumda şansın olası rolünü ve etkisini değerlendirmek.

• Entelektüel bütünlüğü ve şeffaflığı korumak.

Hala birçok seçenek var ve birçok analiz şekli geçerli ve etkili olacak. Burada, bu temel ilkelere bağlılığı için önerilebilecek bir yaklaşımı açıklayalım.

Bütünlüğü korumak için , verileri yarıya bölelim: 1972'den 1990'a ve 1991'den 2009'a kadar gözlemler (her birinde 19 yıl). Modelleri ilk yarıya sığdıracağız ve daha sonra ikinci yarıyı yansıtmada uyumların ne kadar iyi çalıştığını göreceğiz. Bu, ikinci yarıda meydana gelebilecek önemli değişiklikleri tespit etme avantajına da sahiptir.

Yararlı bir açıklama elde etmek için, (a) değişiklikleri ölçmenin bir yolunu bulmalıyız ve (b) bu ​​değişiklikler için mümkün olan en basit modele uymalı, değerlendirmeli ve basit modellerden sapmaları karşılamak için daha karmaşık olanları tekrarlamalı olarak uymalıyız.

(a) Çok fazla seçeneğiniz var: ham verilere bakabilirsiniz; yıllık farklılıklarına bakabilirsiniz; aynısını logaritmalarla da yapabilirsiniz (göreli değişiklikleri değerlendirmek için); yıllarca kaybedilen yaşam süresini veya göreceli yaşam beklentisini (RLE) değerlendirebilirsiniz; ya da başka birçok şey. Biraz düşündükten sonra, Kohort B'deki yaşam beklentisinin (referans) Kohort A'nınkine oranı olarak tanımlanan RLE'yi düşünmeye karar verdim. Neyse ki, grafiklerin gösterdiği gibi, Kohort A'daki yaşam beklentisi istikrarlı bir şekilde artmaktadır. zaman içinde moda, böylece RLE'deki rastgele görünümlü varyasyonun çoğu Kohort B'deki değişikliklerden kaynaklanacaktır.

(b) Başlamak için mümkün olan en basit model doğrusal bir eğilimdir. Bakalım ne kadar iyi çalışıyor.

Bu grafikteki koyu mavi noktalar, montaj için tutulan verilerdir; açık altın noktalar, uyum için kullanılmayan sonraki verilerdir. Siyah çizgi, .009 / yıl eğimle uygun. Kesik çizgiler, gelecekteki tek tek değerler için tahmin aralıklarıdır.

Genel olarak, uyum iyi görünüyor: artıkların incelenmesi (aşağıya bakınız), zaman içinde boyutlarında önemli bir değişiklik göstermemektedir (1972-1990 veri dönemi sırasında). (Yaşam beklentilerinin düşük olduğu zaman, erken yaşta daha büyük olma eğiliminde olduklarına dair bazı göstergeler var. Bu karmaşıklığı, basitliği feda ederek halledebiliriz, ancak eğilimi tahmin etmenin faydalarının büyük olması muhtemel değildir.) Sadece en küçük ipucu var. seri korelasyon (bazı pozitif ve negatif artıkların çalışması tarafından sergilenir), ancak açıkça bu önemli değildir. Tahmin bantlarının ötesindeki noktalarla belirtilecek herhangi bir aykırı değer yoktur.

Tek sürpriz , 2001'de değerlerin aniden alt tahmin bandına düşüp orada kalmasıydı: oldukça ani ve büyük bir şey oldu ve devam etti.

İşte daha önce belirtilen açıklamadan sapmalar olan kalıntılar .

Kalıntıları 0 ile karşılaştırmak istediğimizden, dikey çizgiler görsel bir yardım olarak sıfır seviyesine çekilir. Yine, mavi noktalar uyum için kullanılan verileri gösterir. Açık altın olanlar, 2000 sonrası alt tahmin sınırına yakın olan veriler için kalıntılardır.

Bu rakamdan , 2000-2001 değişikliğinin etkisinin yaklaşık -0.07 olduğunu tahmin edebiliriz . Bu, Kohort B içinde 0.07 (% 7) tam bir yaşam süresinde ani bir düşüşü yansıtıyor. Analizin bu kısmı araştırıcı olarak düşünülmelidir : özel olarak planlanmamıştır, ancak elde tutulan veriler (1991-2009) ve verilerin geri kalanına uyumu arasında şaşırtıcı bir karşılaştırma nedeniyle ortaya çıkmıştır.

Başka bir şey - sadece en eski 19 yıllık verileri kullanarak, eğimin standart hatası küçüktür: sadece .0009, tahmini .009 değerinin onda biri. 10 serbestlik derecesine sahip 10 karşılık gelen t-istatistiği son derece önemlidir (p değeri$10^{-7}$); yani, trendin şanstan kaynaklanmadığından emin olabiliriz. Bu, analizde şansın rolüne ilişkin değerlendirmemizin bir parçasıdır. Diğer kısımlar artıkların muayeneleridir.

En azından RLE'de zaman içinde gerçek bir eğilim olup olmadığını tahmin etmek amacıyla bu verilere daha karmaşık bir model sığdırmak için bir neden yok gibi görünüyor : bir tane var. Tahminlerimizi hassaslaştırmak için verileri 2001 öncesi ve 2000 sonrası değerlere ayırabilirizancak hipotez testleri yapmak tamamen dürüst olmaz. Yarma testi önceden planlanmadığı için p değerleri yapay olarak düşük olacaktır. Fakat keşifsel bir alıştırma olarak, bu tür bir tahmin iyidir. Verilerinizden mümkün olan her şeyi öğrenin! Sadece aşırı sığdırma ile kendinizi aldatmamaya dikkat edin (yarım düzineden fazla parametre kullanırsanız veya otomatik montaj teknikleri kullanırsanız, neredeyse gerçekleşecektir) veya veri gözetleme: resmi onay ile gayri resmi arasındaki farka dikkat edin (ancak değerli).

Özetleyelim:

• Uygun bir yaşam beklentisi ölçüsü (RLE) seçerek, verilerin yarısını uzatarak, basit bir model yerleştirerek ve bu modeli geri kalan verilere göre test ederek, aşağıdakileri yüksek bir güvenle belirledik : tutarlı bir eğilim vardı; uzun bir süre boyunca çizgiye yakın olmuştur; 2001'de RLE'de ani ve kalıcı bir düşüş oldu.

• Modelimiz çarpıcı bir şekilde cimri : ilk verileri doğru bir şekilde tanımlamak için sadece iki sayı (eğim ve kesişim) gerektirir. Bu açıklamadan bariz fakat beklenmedik bir şekilde ayrılmasını tanımlamak için üçüncü bir (mola tarihi, 2001) gerekir. Bu üç parametreli açıklamaya göre aykırı değer yoktur. Model, seri korelasyonu (genel olarak zaman serisi tekniklerinin odağı) karakterize ederek, sergilenen küçük bireysel sapmaları (kalıntılar) tanımlamaya çalışarak veya daha karmaşık uyumlar (ikinci dereceden bir zaman bileşenine ekleme gibi) tanıtarak önemli ölçüde geliştirilmeyecektir. veya zaman içinde artıkların boyutlarındaki değişikliklerin modellenmesi).

• Trend yıllık 0.009 RLE olmuştur . Bu, her geçen yıl, Kohort B içindeki yaşam beklentisinin, 0,009'a (neredeyse% 1) tam beklenen normal kullanım ömrüne sahip olduğu anlamına gelir. Çalışma boyunca (37 yıl), bu 37 * 0.009 = 0.34 = yaşam boyu iyileşmenin üçte biri kadardır. 2001'deki gerileme, bu kazancı 1972'den 2009'a kadar tam bir yaşam süresinin yaklaşık 0.28'ine düşürdü (bu dönemde toplam yaşam beklentisi% 10 artmasına rağmen).

• Bu model geliştirilebilse de, muhtemelen daha fazla parametreye ihtiyaç duyacaktır ve iyileşmenin büyük olması muhtemel değildir (artıkların rasgele yakın davranışı kanıtlandığı gibi). Genel olarak, o zaman, çok az analitik çalışma için verilerin bu kadar kompakt, kullanışlı ve basit bir açıklamasına ulaşmaktan memnun olmalıyız .

Bence whuber'in cevabı basit ve benim gibi zaman olmayan bir seri insanın anlaması için basit bir cevap. Benimkini ona dayandırıyorum. Stata o kadar iyi bilmediğim için cevabım Stata'da değil.

Sorunun aslında bizden yıllık mutlak yıl artışının iki grupta (göreceli değil) aynı olup olmadığına bakmamızı isteyip istemediğini merak ediyorum. Bunun önemli olduğunu düşünüyorum ve aşağıdaki gibi açıklayın. Aşağıdaki oyuncak örneğini düşünün:

a <- 21:40
b <- 41:60
x <- 1:20
plot(y = a, x = x, ylim = c(0, 60))
points(y = b, x = x, pch = 2)

Burada her biri medyan sağkalımında yılda 1 yıl düzenli bir artış gösteren 2 kohortumuz var. Bu nedenle, her yıl bu örnekteki her iki grup da aynı mutlak miktarda artar, ancak RLE aşağıdakileri verir:

rle <-  a / b
plot(rle)

Açıkçası yukarı doğru bir eğilim ve 0 çizgisinin gradyanının 2.2e-16 olduğu hipotezini test etmek için p değeri. Takılan düz çizgi (bu çizginin kavisli göründüğünü görmezden gelelim) 0,008 dereceye sahiptir. Dolayısıyla, her iki grup da bir yılda aynı mutlak artışa sahip olsa da, RLE'nin yukarı doğru bir eğimi vardır.

Dolayısıyla, mutlak artışları aramak istediğinizde RLE kullanırsanız, sıfır hipotezini uygun olmayan bir şekilde reddedersiniz.

Sağlanan verileri kullanarak, elde ettiğimiz kohortlar arasındaki mutlak farkı hesaplamak:

Bu, medyan sağkalım arasındaki mutlak farkın giderek azaldığını (yani, zayıf sağkalımı olan kohortun, daha iyi sağkalım ile kohorta giderek yaklaştığı anlamına gelir).

Bu iki zaman serisinin belirleyici bir eğilimi var gibi görünüyor. Bu, daha fazla analizden önce kaldırmak istediğiniz açık bir ilişkidir. Şahsen ben şöyle devam ederdim:

1) Her zaman dizisi için bir sabit ve zamana karşı bir gerileme yürütürüm ve her zaman dizisi için kalıntıyı hesaplardım.

2) Yukarıdaki adımda hesaplanan iki artık serisini alarak, basit bir doğrusal regresyon (sabit bir terim olmadan) yürütürüm ve t istatistiğine, p-değerine bakar ve arasında daha fazla bağımlılık olup olmadığına karar veririm iki seri.

Bu analiz, doğrusal bir regresyonda yaptığınız varsayımın aynı olduğunu varsayar.

Bazı durumlarda hipotezinizi test etmek için kullanılabilecek teorik bir model bilinir. Benim dünyamda bu "bilgi" genellikle yoktur ve kişi aşağıdakileri özetleyen keşifsel veri analizi olarak sınıflandırılabilecek istatistiksel tekniklere başvurmalıdır. Durağan olmayan, yani otokorelatif özelliklere sahip zaman serisi verilerini analiz ederken basit çapraz korelasyon testleri genellikle yanlış pozitifler kolayca bulunabildiği sürece yanıltıcıdır. Bunun en eski analizlerinden biri, Yule, GU, 1926, "Neden bazen zaman serileri arasında saçmalık korelasyonları alıyoruz? Örnekleme ve zaman serilerinin doğası üzerine bir çalışma", Journal of Royal Statistical Society 89, 1– 64. Alternatif olarak, serinin bir veya daha fazlası istisnai etkinlikten etkilendiğinde (bkz. Cohort B'de 2001'deki ani gerileme) önemli ilişkileri etkili bir şekilde gizleyebilir. Şimdi zaman serileri arasındaki bir ilişkiyi tespit etmek sadece çağdaş ilişkileri değil, aynı zamanda olası gecikmiş ilişkileri de incelemeye kadar uzanır. Her iki seri de anormalliklerden (bir defalık olaylar) etkilenmişse, bu bir defalık çarpıklıkları ayarlayarak analizimizi sağlamlaştırmalıyız. Zaman serileri literatürü, yapıyı daha net bir şekilde tanımlamak için ön beyazlatma yoluyla ilişkinin nasıl tanımlanacağına dikkat çekmektedir. Ön beyazlatma, korelasyonlar arası yapıyı tanımlamadan önce intra-korelasyon yapısına göre ayarlanır. Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Şimdi zaman serileri arasındaki bir ilişkiyi tespit etmek sadece çağdaş ilişkileri değil, aynı zamanda olası gecikmiş ilişkileri de incelemeye kadar uzanır. Her iki seri de anormalliklerden (bir defalık olaylar) etkilenmişse, bu bir defalık çarpıklıkları ayarlayarak analizimizi sağlamlaştırmalıyız. Zaman serileri literatürü, yapıyı daha net bir şekilde tanımlamak için ön beyazlatma yoluyla ilişkinin nasıl tanımlanacağına dikkat çekmektedir. Ön beyazlatma, korelasyonlar arası yapıyı tanımlamadan önce intra-korelasyon yapısına göre ayarlanır. Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Şimdi zaman serileri arasındaki bir ilişkiyi tespit etmek sadece çağdaş ilişkileri değil, aynı zamanda olası gecikmiş ilişkileri de incelemeye kadar uzanır. Her iki seri de anormalliklerden (bir defalık olaylar) etkilenmişse, bu bir defalık çarpıklıkları ayarlayarak analizimizi sağlamlaştırmalıyız. Zaman serileri literatürü, yapıyı daha net bir şekilde tanımlamak için ön beyazlatma yoluyla ilişkinin nasıl tanımlanacağına dikkat çekmektedir. Ön beyazlatma, korelasyonlar arası yapıyı tanımlamadan önce intra-korelasyon yapısına göre ayarlanır. Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Her iki seri de anormalliklerden (bir defalık olaylar) etkilenmişse, bu bir defalık çarpıklıkları ayarlayarak analizimizi sağlamlaştırmalıyız. Zaman serileri literatürü, yapıyı daha net bir şekilde tanımlamak için ön beyazlatma yoluyla ilişkinin nasıl tanımlanacağına dikkat çekmektedir. Ön beyazlatma, korelasyonlar arası yapıyı tanımlamadan önce intra-korelasyon yapısına göre ayarlanır. Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Her iki seri de anormalliklerden (bir defalık olaylar) etkilenmişse, bu bir defalık çarpıklıkları ayarlayarak analizimizi sağlamlaştırmalıyız. Zaman serileri literatürü, yapıyı daha net bir şekilde tanımlamak için ön beyazlatma yoluyla ilişkinin nasıl tanımlanacağına dikkat çekmektedir. Ön beyazlatma, korelasyonlar arası yapıyı tanımlamadan önce intra-korelasyon yapısına göre ayarlanır. Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar: Anahtar kelimenin yapıyı tanımladığına dikkat edin. Bu yaklaşım kolayca aşağıdaki "faydalı modele" yol açar:

Y (T) = -194,45
+ [X1 (T)] [(+ 1,2396+ 1,6523B ** 1)] COHORTA

   +[X2(T)][(- 3.3924)]                :PULSE          3

   +[X3(T)][(- 2.4760)]                :LEVEL SHIFT   30 reflecting persistant  unusal activity

   +[X4(T)][(+ 1.1453)]                :PULSE         29

   +[X5(T)][(- 2.7249)]                :PULSE         11

   +[X6(T)][(+ 1.5248)]                :PULSE         27

   +[X7(T)][(+ 2.1361)]                :PULSE          4

   +[X8(T)][(+ 1.6395)]                :PULSE         13

   +[X9(T)][(- 1.6936)]                :PULSE         12

   +[X10(T)[(- 1.6996)]                :PULSE         19

   +[X11(T)[(- 1.2749)]                :PULSE         10

   +[X12(T)[(- 1.2790)]                :PULSE         17

  +       [A(T)]

1.2936'lık çağdaş bir ilişki ve 1.6523'ün gecikmeli bir etkisi var. Alışılmadık aktivitenin tespit edildiği birkaç yıl olduğunu unutmayın. (1975,2001,1983,1999,1976,1985,1984,1991 ve 1989). Yıllara yönelik düzenlemeler, bu iki seri arasındaki ilişkiyi daha net bir şekilde değerlendirmemizi sağlıyor.

Tahmin yapma açısından

XARMAX OLARAK İFADE EDİLEN MODEL
Y [t] = a [1] Y [t-1] + ... + a [p] Y [tp]
+ w [0] X [t-0] + ... + w [r] X [tr]
+ b [1] a [t-1] + ... + b [q] a [tq]
+ sabiti

SAĞ EL YAN SABİTİ: -194.45

COHORTA 0 1.239589 X (39) * 78.228616 = 96.971340

COHORTA 1 1.652332 X (38) * 77.983000 = 128.853835

I ~ L00030 0 -2.475963 X (39) * 1.000000 = -2.475963

      NET PREDICTION FOR Y(    39 )=                     28.894826 

Cohorta için ARIMA modelinden elde edilen 39 (78.228616) zaman diliminde CohortA için bir tahmin ve elbette bir tahmin yapmak için gereken dört katsayıdır.

Bu cevap bazı grafikleri içeriyor