Etkinlik zamanı hakkında belirsizliği olan bir zaman serisindeki olaylar için ara güvenilirliği

Bir zaman serisindeki olayları tanımlamaya çalışan birden fazla bağımsız kodlayıcım var - bu durumda, yüz yüze sohbetin videosunu izlemek ve belirli sözsüz davranışlar (örneğin kafa başlıkları) aramak ve her birinin zamanını ve kategorisini kodlamak Etkinlik. Bu veriler, hangisi ile çalışmak daha kolay olursa, yüksek örnekleme hızına (30 kare / saniye) sahip ayrı bir zaman serisi veya sürekli zaman serisi olarak değerlendirilebilir.

Değerlendiriciler arası güvenilirliğin bir ölçüsünü hesaplamak istiyorum, ancak olayların ne zaman gerçekleştiğine dair bir belirsizlik olmasını bekliyorum ; yani, bir kodlayıcının, örneğin, belirli bir hareketin diğer kodlayıcıların başladığını düşündüğünden çeyrek saniye sonra başladığını kodlamasını bekliyorum. Bunlar yardımcı olursa nadir olaylardır; genellikle olaylar arasında en az birkaç saniye (yüzlerce video karesi).

Anlaşması ve anlaşmazlık bu tür hem de görünümün onun hakemlerarası güvenilirliğini değerlendirmek için iyi bir yolu var mı: (1) değerlendiriciler üzerinde fikir birliği içindedirler Ne olay meydana geldi (varsa) ve (2) onlar üzerinde fikir birliği içindedirler zaman meydana geldiği? İkincisi benim için önemlidir, çünkü bu olayların konuşmada gerçekleşen diğer şeylere kıyasla, insanların söyledikleri gibi zamanlamasına bakmakla ilgileniyorum.

Alanımdaki standart uygulama, şeyleri zaman dilimlerine, örneğin saniyenin 1 / 4'üne bölmek, her kodlayıcının zaman dilimi başına rapor ettiği olayları toplamak, sonra Cohen'in kappa'sını veya benzer bir ölçüyü hesaplamak gibi görünüyor. Ancak dilim süresi seçimi geçici ve olaylar zamanında belirsizlik hakkında iyi bir fikrim yok.

Şimdiye kadar sahip olduğum en iyi düşünce, bir çeşit güvenilirlik eğrisini hesaplayabilmem; iki olayı aynı anda kodlanmış olarak gördüğüm pencerenin boyutunun bir fonksiyonu olarak kappa gibi bir şey. Yine de oradan nereye gideceğimi bilmiyorum ...

İşte düşünmek için birkaç yol.

1

A) Kodlamaların her bir sırasını sıralı bir olay kümesi (örn. ["Kafa başını", "kafa sallamak", "kafa başını", "kaş kaldırdı"] ve ["kafa başını", "kafa sallamak" , "kaş kaldırıldı"]), ardından sizin için anlamlı bir algoritma kullanarak dizileri hizalayın ( http://en.wikipedia.org/wiki/Sequence_alignment ). Daha sonra tüm dizi için kodlar arası güvenilirliği hesaplayabilirsiniz.

B) Daha sonra, yine hizalanmış dizileri kullanarak, her ikisinin de olayı gözlemledikleri göz önüne alındığında, bir olayın gerçekleştiğini söylediklerinde karşılaştırabilirsiniz.

2) Alternatif olarak, bunu bir Gizli Markov Modeli olarak modelleyebilir ve bazı gerçek olaylar göz önüne alındığında, her kodlayıcının verileri doğru bir şekilde kodladığı olasılıkları ima etmek için Baumn-Welch algoritması gibi bir şey kullanabilirsiniz. http://en.wikipedia.org/wiki/Baum-Welch_algorithm

Verileri keyfi parçalara bölmek yerine gerçek zaman farklarını göz önünde bulundurabilirsiniz. Kodlayıcı 1 zaman ve eylem rapor eder:

049 D
113 C
513 C
724 G

Diğer kodlayıcılara göre hangi kodlayıcının en güvenilir olduğunu görmenin basit bir yolu ona şöyle bir puan vermektir:

Add a point for each other coder that reported a D between (049-025) and (049+025)
Add a point for each other coder that reported a C between (113-025) and (113+025)
Add a point for each other coder that reported a C between (513-025) and (513+025)
Add a point for each other coder that reported a C between (724-025) and (724+025)
Subtract a point for each reported action.

Yakınlık sizin için önemliyse, aşağıdaki gibi alternatifleri göz önünde bulundurun:

Add 25/(Time_Thiscoder-Time_Othercoder)^2 points for each other coder that reported a matching observation.

Mevcut tüm problem bilgileri ile bu fikri pratik bir şekilde uygulamak zor olmamalıdır.