Ani değişim nasıl karakterize edilir?

13

Bu soru çok temel olabilir. Bir verinin zamansal eğilimi için, "ani" değişikliğin gerçekleştiği noktayı bulmak istiyorum. Örneğin, aşağıda gösterilen ilk şekilde, bazı istatistik yöntemlerini kullanarak değişiklik noktasını bulmak istiyorum. Ve böyle bir yöntemi, değişiklik noktasının açık olmadığı diğer bazı verilere uygulamak istiyorum (2. şekil gibi).

resim açıklamasını buraya girin

time-series trend change-point

— user2230101
kaynak

3

"dönüm noktası" terimi, seviyedeki ani bir değişim (yukarı veya aşağı) için geçerli olduğunu düşünmediğim özel bir anlama sahiptir. Ayrıca 'değişim noktası' ifadesini kullanıyorsunuz ve bence bu muhtemelen daha iyi bir seçim. Lütfen bunun 'çok temel' olduğunu düşünmeyin; temel sorular bile özür dilemeden hoş karşılanır ve bu soru uzaktan temel değildir.

— Glen_b

Teşekkürler. Sorudaki 'dönüm noktasını' 'değişim noktası' olarak değiştirdim.

— user2230101

11

Zaman serisi verilerinizin gözlemleri hemen önceki gözlemlerle ilişkiliyse, Chen ve Liu'nun (1993) makalesi ilginizi çekebilir. Otoregresif hareketli ortalama zaman serisi modelleri çerçevesinde seviye kaymalarını ve geçici değişiklikleri tespit etmek için bir yöntem açıklanmaktadır. $^{[1]}$

[1]: Chen, C. ve Liu, LM. (1993),
"Model Parametrelerinin Ortak Kestirimi ve Zaman Serilerinde Ekstrem Etkiler,"
Amerikan İstatistik Derneği Dergisi , 88 : 421, 284-297

— javlacalle
kaynak

+1 Bu makaleyi bulmak için yeterince hatırlamaya çalışıyordum (ama başarısız oluyorum). İyi bir referans.

— Glen_b-Monica'yı Yeniden Başlat

6

İstatistiklerdeki bu soruna (tek değişkenli) Geçici Olay Algılama denir. En basit fikir hareketli bir ortalama ve standart sapma kullanmaktır. "3" sapma (genel kural) dışında herhangi bir okuma "olay" olarak kabul edilir. Tabii ki, HMM veya Regresyon kullanan daha gelişmiş modeller var. İşte alana giriş niteliğindeki bir genel bakış .

— user1669710
kaynak

5

Bu, "Tek Değişkenli Geçici Olay Algılama" ifadesini içeren tüm Web'de herkesin erişebildiği tek yayındır! Bu terim için kaynağınız nedir?

— whuber

Kafa karıştırıcıysa üzgünüm. Olay Algılama daha yaygın bir terimdir ve Zamansal bazen ayrı ayrı kullanılır. Tek değişkenli yaklaşımlar genellikle çok değişkenli olduğu için yaygın olarak kullanılmaz, ancak bu onun özel durumudur.

— user1669710

1

yorumunuzu eklemek için cevabı düzenledi @whuber

— user1669710

@ ser1669710 Teşekkürler. Aradığım şey bu. Hareketli ortalama benim sorunumu çözemez görünüyor. Daha karmaşık modele bakmam gerekiyor.

— user2230101

Bu geçici olay tespiti hakkında daha fazla bilgi edinmek istiyorum. Gönderdiğiniz slaytlar güzel, ancak alanı biraz daha resmi olarak açıklayan bir inceleme makalesine bağlantı olup olmadığını merak ediyordum?

— aaragon

1

J_{i} = {\begin{cases} 0 & x < x_{i} \\ 1 & x \geq x_{i} \end{cases}

$J_i = \left\{\begin{array}{l@{\qquad}l} 0 & x < x_i\\ 1 & x \ge x_i \end{array}\right.$

x_{1} < x_{2} < \dots < x_{m}

$x_1<x_2<\cdots<x_m$

J_{i}

$J_i$

J_{a p r i l}

$J_{april}$

J_{d e c e m b e r}

$J_{december}$

x_{i}

$x_i$

$J_1$ $J_2$ $x_1$ $x_2$

— Russ Lenth
kaynak

1

PS - @ user1669710 ve ben aynı anda cevap gönderdik. Buna oy verdim çünkü daha iyi araştırılmış. Ama bunu burada bırakıyorum çünkü işe yarayan ve uygulanması kolay bir alternatif.

— Russ Lenth

1

Kademeli regresyon kullandığı ve birçok aday değişken kullandığı için bu prosedür şüpheli görünüyor. Nerede çalışıldı ve hangi özellikleri var? Diğer değişiklik noktası yöntemleriyle nasıl karşılaştırılır ?

— whuber

@whuber, tam olarak benim açımdan. Bu yüzden diğer cevaba oy verdim. Çok ayrıntılı bir değişiklik noktası değeriniz varsa, çok uygun bir şekilde karşılaştırılamaz. Ve bunu olumlu bir şekilde karşılaştırmayabilir. Ben sadece geçici bir yöntem olarak ortaya koyuyorum ve sanırım böyle sunmuştum. Ancak böylesi bir yöntemin doğrusal olmayan yöntem için başlangıç değerleri elde etmenin iyi bir yolu olacağına inanıyorum.

— Russ Lenth

Fikir Bulduğum daha etkili changepoint yöntemlerden bazıları temelini, ancak diğer yöntemler üzerinde geliştirmek için bu yöntem bile başarısız olabilir bu beni şüpheli belirli markaların içinde aşamalı regresyon kullanımı (emin oldum rağmen) makul başlangıç noktaları üretmek. Bu yüzden çalışılmış olup olmadığını merak ediyorum.

— whuber

Verileri en iyi şekilde açıklayan iki sıçramayı bulacağımız sürece, tüm alt kümelerin seçiminde çok az sorun olacağını düşünüyorum. Diğer seçim yöntemleri, diğer durumlarda olduğu gibi sorunlu olabilir. Bence en iyi cevabı almanın ne kadar önemli olduğuna, iyi bir cevaba karşılık, hızlı bir cevaba da bağlı. Tüm problemler aynı değildir ve tüm müşteriler de değildir. Dünyadaki en iyi cevap, açıklayamazsan mutlak bir başarısızlıktır.

— Russ Lenth

1

Bir diziyi veya diziyi ideal olarak sabit değerlere sahip büyülere bölmeyle ilgili bir sorun vardır. Bkz. Sayısal verileri doğal olarak oluşturulan "köşeli parantezler" halinde nasıl gruplandırabilirim? (örneğin gelir)

Bu, sorunun herhangi bir veya tüm yönlerde yavaş sürüklenmeye sahip büyüleri hariç tutmaması, ancak ani değişiklikler olmadan tam olarak aynı sorun değildir.

Daha doğrudan bir cevap, büyük sıçramalar aradığımızı söylemektir, bu yüzden tek gerçek sorun atlamayı tanımlamaktır. İlk fikir, komşu değerler arasındaki ilk farklılıklara bakmaktır. İlk önce gürültüyü kaldırarak, atlamalar gürültüdeki farklardan ayırt edilemiyormuş gibi, kesinlikle ani olamayacaklarını düzeltmeniz gerektiği açık değildir. Öte yandan, sorgulayıcı açıkça ani bir değişikliğin rampalı ve kademeli değişimi içermesini istiyor, bu nedenle sabit uzunluklu pencerelerdeki varyans veya aralık gibi bazı kriterler gerekli görünüyor.

— Nick Cox
kaynak

1

Aradığınız istatistik alanı değişim noktası analizidir. Burada alana genel bir bakış sağlayacak ve ayrıca bir yazılım sayfası içeren bir web sitesi var .

Eğer bir Rkullanıcı iseniz o zaman changepointortalama strucchangedeğişiklikleri paketi ve regresyon değişiklikleri paketi öneriyoruz . Bayesian olmak istiyorsanız o zaman bcppaket de iyidir.

Genel olarak, aradığınız değişikliklerin gücünü gösteren bir eşik seçmeniz gerekir. Elbette, insanların belirli durumlarda savunduğu eşik seçenekleri vardır ve güven kazanmak için asimtotik güven düzeyleri veya önyükleme kullanabilirsiniz.

— Adûnaic'i
kaynak

1

OP, kelimeler hakkında her zaman gariplik için bir kapsam olmasına rağmen, biri adım ve diğeri rampa diyeceğim iki örnek tanımladı. Ayrıca cevabımı da burada bulabilirsiniz. Bu yöntemler rampalarla nasıl başa çıkıyor? Kararlı bir değişimin örtülü veya açık bir modeli var mı?

— Nick Cox

Soru için teşekkürler Nick. Genellikle rampanın ne kadar uzun olduğuna bağlıdır. Kısa bir rampa ise, o zaman 1 değişiklik olarak kabul edilir, eğer rampa daha uzunsa, genellikle değişim noktası yöntemleri rampanın başında 1 ve sonunda 1 olmak üzere 2 değişiklik belirleyecektir. Açıkçası bu, varsaydığınız temel modele bağlıdır.

— adunaic

1

Bu çıkarım problemi, değişim noktaları, anahtar noktaları, kırılma noktaları, kırık çizgi regresyonu, kırık çubuk regresyonu, bilinear regresyon, parçalı doğrusal regresyon, lokal lineer regresyon, parçalı regresyon ve süreksizlik modelleri gibi birçok isme sahiptir.

İşte artıları / eksileri olan değişim noktası paketlerine ve çalışılan örneklere genel bir bakış . Önceden değişiklik noktası sayısını biliyorsanız, mcppakete göz atın . İlk olarak, verileri simüle edelim:

df = data.frame(x = seq(1, 12, by = 0.1))
df$y = c(rnorm(21, 0, 5), rnorm(80, 180, 5), rnorm(10, 20, 5))

İlk probleminiz için sadece kesişen üç segment:

model = list(
  y ~ 1,  # Intercept
  ~ 1,  # etc...
  ~ 1
)
library(mcp)
fit = mcp(model, df, par_x = "x")

Ortaya çıkan uyumu çizebiliriz:

plot(fit)

Burada, değişim noktaları çok iyi tanımlanmıştır (dar). Çıkarılan konumlarını ( cp_1ve cp_2) görmek için uygunluğu özetleyelim :

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: y ~ 1
  2: y ~ 1 ~ 1
  3: y ~ 1 ~ 1

Population-level parameters:
    name   mean lower upper Rhat n.eff
    cp_1   3.05   3.0   3.1    1  6445
    cp_2  11.05  11.0  11.1    1  6401
   int_1   0.14  -1.9   2.1    1  5979
   int_2 179.86 178.8 180.9    1  6659
   int_3  22.76  19.8  25.5    1  5906
 sigma_1   4.68   4.1   5.3    1  5282

mcpNth order autoregression (zaman serisi için yararlı), vb. Modelleme dahil olmak üzere çok daha karmaşık modeller yapabilirsiniz . Sorumluluk reddi: Ben geliştiriciyim mcp.

— Jonas Lindeløv
kaynak