Bir eğilimi belirlemek için sinyal işleme prensiplerinin kuşkulu kullanımı

Çok gürültülü bazı uzun vadeli verilerde bir eğilim bulmaya çalışıyorum. Veriler temel olarak yaklaşık 8 aylık bir süre boyunca yaklaşık 5 mm hareket eden bir şeyin haftalık ölçümleridir. Veriler 1 mm'lik bir doğruluktur ve haftada +/- 1 veya 2 mm'lik düzenli olarak değişen çok gürültülüdür. Veriler sadece en yakın mm'ye sahibiz.

Gürültüyü ham verilerden ayırmak için hızlı bir fourier dönüşümü ile bazı temel sinyal işlemeyi kullanmayı planlıyoruz. Temel varsayım, veri kümemizi yansıtırsak ve mevcut veri kümemizin sonuna eklersek, verilerin tam bir dalga boyunu oluşturabiliriz ve bu nedenle verilerimiz daha hızlı bir fourier dönüşümünde gösterilecek ve umarım daha sonra ayırabiliriz .

Bunun bana biraz şüpheli geldiği düşünüldüğünde, bu saflaştırmaya değer bir yöntem midir yoksa veri setimizi yansıtma ve ekleme yöntemi temelde kusurlu mudur? Alçak geçiren filtre kullanmak gibi diğer yaklaşımlara da bakıyoruz.

Trend tahmini yanlış verilere eklediğiniz noktaya yakın bir önyargılı olacağı için bana çok tehlikeli geliyor. Alternatif bir yaklaşım, lös veya spline gibi parametrik olmayan bir regresyon daha pürüzsüzdür.

Sinyal işleme kullanarak uzun vadeli eğilimi filtrelemek istiyorsanız, neden sadece düşük geçiş kullanmıyorsunuz?

Aklıma gelen en basit şey üstel hareketli bir ortalama olurdu.

Bence tüm temel dalgalar çok iyi bağlanmayacağından yapıştırma noktasında biraz bozulma olabilir.

Bunun için bir Hilbert Huang dönüşümü kullanmanızı öneririm. Sadece iç mod işlevlerine bölün ve hesaplarken kalıntı olarak kalanın ne olduğunu görün.

(Hızlı :)) ayrık dalgacık dönüşümünü kullanabilirsiniz . R altında wavethresh paketi tüm işi yapacak. Her neyse, @James'in çözümünü seviyorum çünkü basit ve noktaya doğru gidiyor gibi görünüyor.

Çoğu zaman "uzun vadeli eğilim" duyduğumda , her ikisi de bir Fourier dönüşümü tarafından düzgün bir şekilde yakalanmayan uzun vadeli yukarı trendleri veya uzun vadeli aşağı trendleri düşünüyorum . Bu tür tek yönlü eğilimler doğrusal regresyon kullanılarak daha iyi analiz edilir . (Fourier dönüşümleri ve periodogramlar yukarı ve aşağı giden şeyler için daha uygundur ).

Doğrusal regresyonun çoğu elektronik tabloda yapılması kolaydır. (a) Regresyon çizgileri için denklemleri görüntüleme (b) Elektronik Tablolarla XY Dağılım Grafiği Oluşturma

Doğrusal regresyon, verilerinizi düz bir çizgiyle yaklaşıklaştırmaya çalışır. Fourier dönüşümleri, birkaç sinüs dalgası bir araya getirilerek verilerinize yaklaşmaya çalışır. Verilerinizi polinomlara veya diğer şekillere yakınlaştırmaya çalışan başka teknikler ("doğrusal olmayan regresyon") vardır.

Fourier dönüşümü geniş anlamda sinyal durağanlığını ve doğrusal zaman değişmezliğini (LTI) varsayar. Bu koşulların bazı ihlallerine karşı sağlam olsa da, durağanlık varsayımı nedeniyle eğilimlerin analizi için uygun olduğunu düşünmüyorum, yani FFT'lerin temel varsayımlarından birini ihlal eden bir şeyi ölçmeye çalışıyorsunuz.

Yukarıdaki posterleri kabul ediyorum; verilerinizi yansıtmak ve yansıtılmış verileri zaman serilerinizin sonuna eklemek çok tehlikeli. Yukarıda belirtildiği gibi bir zaman trendine sahip doğrusal bir regresyon modelinin takılmasının muhtemelen daha uygun olduğunu öneririm.

Periyodikliği incelemek istiyorsanız, yüksek geçişli filtreleme ve Fourier analizi yaparak eğilimi kaldırabilirsiniz. Filtre uygulandıktan sonra eğilim görünür kalırsa, FFT öncesinde takılmış doğrusal regresyon hattını orijinal sinyalden çıkarabilirsiniz.