Zaman serileri ve anomali tespiti

Zaman serilerinde bir anormallik tespit etmek için bir algoritma kurmak istiyorum ve bunun için kümeleme kullanmayı planlıyorum.

Neden ham zaman serisi verilerini değil, kümeleme için bir mesafe matrisi kullanmalıyım ?,
Anomalinin tespiti için yoğunluk tabanlı kümeleme, DBscan olarak bir algoritma kullanacağım, bu durumda bu işe yarar mı? Veri akışı için çevrimiçi bir sürüm var mı?
Anormalliği gerçekleşmeden önce tespit etmek istiyorum, bu yüzden bir trend tespit algoritması (ARIMA) kullanmak iyi bir seçim olur mu?

time-series clustering trend

— napsterockoeur
kaynak

Doğru DBSCAN yazılmıştır. Bu bir kısaltmadır. Ne yapmaya çalıştığından emin değilim. Bir zaman serisindeki veya genel anormal zaman serilerindeki anormallikleri tespit edin.

— QUIT - Anony-Mousse

Evet DBSCAN, kesin! Ne yapmaya çalışıyorum, bir zaman serisi veri kümesinde bir çevrimiçi algılama anomalisidir! yani! herhangi bir istek? Saygılarımla

— napsterockoeur

Büyüyen zamanlardaki veya ek serilerdeki gibi çevrimiçi mi? Yine, bunlar çok farklı ve ne demek istediğiniz konusunda çok net olmanız gerekiyor.

— ÇIKIŞ - Anony-Mousse

Çevrimiçi (akış), yani bir sensörden gelen büyüyen bir dizi serisi .. her bir saatte bir veri kümesi (vektör) alınır ..

— napsterockoeur

Yanıtlar:

İlk sorunuzla ilgili olarak , bir zaman dizisinde kümeleme yapmadan önce bu ünlü makaleyi (Zaman Serisi Alt İsteklerinin Kümelenmesi Anlamsız) okumanızı tavsiye ederim . Açıkça yazılmıştır ve kaçınmak istediğiniz birçok tuzağı gösterir.

— gui11aume
kaynak

Anomali tespiti veya "Müdahale Tespiti" GCTiao ve diğerleri tarafından şampiyonlaştırılmıştır. Bilim yapmak, tekrarlanan kalıpları araştırmaktır. Anomalileri tespit etmek, tekrarlanan kalıpları takip etmeyen değerleri tanımlamaktır. “Doğanın yollarını bilenlerin sapmalarını daha kolay fark edeceğini ve diğer yandan sapmalarını bilenlerin yollarını daha doğru tanımlayacağını bilen” Newton'dan öğreniyoruz. Mevcut kuralların ne zaman başarısız olduğunu gözlemleyerek kuralları öğrenir. 1,9,1,9,1,9,5,9 zaman serilerini ele alalım. Anormalliği tanımlamak için bir kalıbın olması gerekir. "5", "14" kadar anomalidir. Deseni tanımlamak için sadece ARIMA kullanın ve bu durumda "anomali" belirginleşir. Farklı yazılım / yaklaşımlar deneyin ve hangisinin 1,0 ARARI modeli önerdiğini görün, -1 katsayısı ile 0. "Otomatik arima" veya "otomatik müdahale tespiti" bulmak için google / search prosedürlerini kullanın. Bunun için ne ödeme değerinde olabilir gibi ücretsiz şeyler tarafından hayal kırıklığına olabilir. Ağır zaman serisi arka planınız ve boşa harcamanız için birkaç yılınız varsa, kendiniz yazmak ilginç olabilir.Zaman tabanlı yöntemlerde ciddi sınırlamalar vardırhttp://www3.ntu.edu.sg/SCE/pakdd2006/tutorial/chawla_tutorial_pakddslides.pdf

— IrishStat
kaynak

Çok teşekkür ederim Sir IrishStat, u ile tamamen iyiyim, mesafe tabanlı yöntemlerde büyük bir sınırlama var ve diğer yöntemleri de tahmin ediyorum, bu yüzden yoğunluk baz yöntemini test ediyorum, konuşan birçok makale gördüm hakkında zaman serisi anomali tespiti, nasa araştırma, üniversiteler gibi .. vb ama küçük veri, belirli veri sorunları için Ve son zamanlarda, aykırı tespiti için iyi bir ücretsiz yazılım bulundu: MOA of Weka! Daha önce test ettin mi? Bu açık kaynak kodlu bir yazılım, küçük algılama anomali algoritmamı geliştirmek ve entegre etmek için kullanmaya çalışıyorum

— napsterockoeur 19:09

oh: FYI: veri akışı

— veriyorum