İki veri kümesi arasındaki benzerliğin nicelleştirilmesi

Özet : En iyi yöntemi bulmaya çalışmak, tek bir değer kullanarak hizalanmış iki veri kümesi arasındaki benzerliği özetler.

Ayrıntılar :

Sorum en iyi bir diyagramla açıklanıyor. Aşağıdaki grafikler etiketli değerleri ile iki farklı veri setleri, her gösterir nfve nr. X ekseni boyunca noktalar, ölçümlerin alındığı yeri temsil eder ve y eksenindeki değerler sonuçta ölçülen değerdir.

Her grafik için , her bir ölçüm noktasındaki benzerliğini nfve nrdeğerlerini özetlemek için tek bir sayı istiyorum . Bu örnekte, birinci grafikteki sonuçların ikinci grafikteki sonuçlardan daha az benzer olduğu görsel olarak açıktır. Ama farkın daha az belirgin olduğu başka birçok verim var, bu yüzden bunu nicel olarak sıralayabilmek yardımcı olacaktır.

Tipik olarak kullanılan standart teknikler olabileceğini düşündüm. İstatistiksel benzerlik aramak çok farklı sonuçlar verdi, ancak neyin en iyi seçileceğinin veya hazır olduğum şeylerin sorunum için geçerli olup olmadığından emin değilim. Bu yüzden basit bir cevap olması durumunda bu sorunun burada sormaya değer olabileceğini düşündüm.

2 eğri arasındaki alan size fark verebilir. Dolayısıyla toplam (nr-nf) (tüm farklılıkların toplamı) 2 eğri arasındaki alanın yaklaşık bir değeri olacaktır. Göreli yapmak istiyorsanız, sum (nr-nf) / sum (nf) kullanılabilir. Bunlar, her grafik için 2 eğri arasındaki benzerliği gösteren tek bir değer verecektir.

Düzenleme: Bu farklı noktalar veya gözlemler ve bağlı çizgiler veya eğriler olmasa bile, farklılıkların toplamı yöntemi yararlı olacaktır, ancak bu durumda, farklılıkların ortalaması da bir gösterge olabilir ve dikkate alacağı için daha iyi olabilir gözlem sayısı.

Ne demek istediğinizi 'benzerlik' ile tanımlamanız gerekir. Büyüklük önemli mi? Yoksa sadece şekil?

Yalnızca şekil önemliyse, her iki zaman serisini de maksimum değerleriyle normalleştirmek istersiniz (böylece her ikisi de 0'dan 1'e kadardır).

Doğrusal bir korelasyon arıyorsanız, basit bir pearson korelasyonu iyi çalışır - bu da esas olarak kovaryansı ölçer.

Örneğin, zaman serisine bir çizgi veya polinom sığdırabilen (esas olarak yumuşatır) ve daha sonra pürüzsüz polinomları karşılaştırabilen başka teknikler de vardır.

Periyodik benzerlik arıyorsanız (yani zaman serisinin belirli bir sinüzoidal bileşen veya mevsimsellik varsa), önce trendin ve mevsim bileşenlerinin bir zaman serisi ayrışmasını kullanmayı düşünün. Veya frekans alanındaki verileri karşılaştırmak için FFT gibi bir şey kullanmak.

Bu 'benzer' ne olması gerektiğini daha fazla tanımlamak bilmeden tüm hakkında. Umarım yardımcı olur.

Her ölçüm noktası için (nr-nf) kullanabilirsiniz, sayı ne kadar küçükse (mutlak değer) değere o kadar benzerdir. Tam olarak en bilimsel yaklaşım değil, lütfen beni affet, bu konuda gerçek bir resmi eğitimim yok. Sadece görselin sayısal bir temsilini arıyorsanız, bunu yapmalısınız.