Her seçmenin doğruluğunu ve ilgili belirsizliği kullanan oylama sistemi

Diyelim ki cevabını bilmek istediğimiz basit "evet / hayır" sorusu var. Ve doğru cevap için "oy kullanan" N kişi var. Her seçmen, geçmişte bu tür sorularla ilgili doğru ya da yanlış olduklarını gösteren bir geçmişe sahiptir - 1'ler ve 0'lar listesi. Tarihi bir binom dağılımı olarak kabul edersek, seçmenlerin bu tür sorular, varyasyonları, CI ve diğer herhangi bir güven metriği üzerindeki ortalama performansını bulabiliriz.

Temelde, sorum şu: dahil etmek nasıl güven bilgisini içine oylama sistemi ?

Örneğin, her bir seçmenin sadece ortalama performansını düşünürsek, basit ağırlıklı oylama sistemi oluşturabiliriz:

r e s u l t = s ben g n (\underset{v \in v Ö t e r s}{Σ} μ_{v} x (- 1)^{1 - v Ö t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Yani, seçmenlerin ağırlıklarını ("evet" için) veya ("hayır" için) ile . Bu mantıklı: Eğer seçmen 1'in ortalaması eşit doğru cevaplara ve seçmen 2'nin sadece sahip olması, muhtemelen, 1. kişinin oyunun daha önemli olduğu düşünülmelidir. Öte yandan, 1. kişi bu türden sadece 10 soruya cevap verdiyse ve 2. kişi bu tür 1000 soruya cevap verdiyse, 2. kişinin beceri seviyesinden 1. kişinin becerisinden çok daha eminiz - 1. kişinin şanslı olması mümkündür. ve göreceli olarak başarılı 10 cevaptan sonra çok daha kötü sonuçlarla devam edecektir. $+1$ $-1$ $.9$ $.8$

Yani, daha kesin bir soru bu gibi gelebilir: İstatistiksel hem de içermektedir metrik var - mukavemet ve güven bazı parametresi hakkında?

— ffriend
kaynak

Bir seçmenin uzmanlığını sisteminizin gizli bir değişkeni olarak düşünmelisiniz . Daha sonra sorununuzu bayes çıkarsama ile çözebilirsiniz . Grafik model olarak bir gösterim şöyle olabilir:

graphical_model

Diyelim değişkenler belirtmek , gerçek cevap için seçmen oyu için ve tarihiyle. Ki aynı zamanda bir "uzmanlık" parametresi olduğu şekilde . Eğer koyarsanız bu bazı önceki -için Örneğin Beta kullanmak gerekir prior- Bayes teoremi için anlaması ve ardından üzerine entegre için hesaplama $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (bir | V_{ben}, {'H}_{ben}) = \int_{μ_{ben}} Pr (bir, μ_{ben} | {bir}_{ben}, {'H}_{ben}) d μ_{ben}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Bu sistemleri çözmek zordur. EM algoritmasını bir yaklaşım olarak kullanabilir veya tam Bayesian çıkarım yapmak için tam olasılık maksimizasyon şemasını kullanabilirsiniz.

Bu görevi çözmek için ayrıntılı algoritmalar için Crowdsourcing , Liu, Peng ve Ihler 2012 ( Dün NIPS'de sunuldu! ) Varyasyonel Çıkarımına bir göz atın .

— Emile
kaynak

Cevabınız için teşekkürler, ancak bu konuda biraz daha ayrıntılı olabilir misiniz? Özellikle, uzmanlıkla ne demek istiyorsun? Kişinin doğru cevap vermesi olasılığı varsa, o zaman zaten önceki cevapların ortalaması olarak tahminimiz var, bu yüzden gizli değil. Uzmanlıktan, tahminimize hem ortalama hem de güveni dahil ediyorsanız, uzmanlık ve sonuç alma olasılıklarını nasıl yayabiliriz?

— ffriend

Evet, bu "uzmanlık" değişkeni ve Bayesci çıkarım ile hem ortalama hem de güveni temsil edebilirsiniz. Cevabım için birkaç açıklama ve referans ekledim. Umarım yardımcı olur !

— Emile