Derecelendirme için güven aralıkları nasıl bulunur?

32

Evan Miller'ın " Ortalama Reytinge Göre Nasıl Sıralanmaması", derecelendirilmiş maddeler için anlamlı bir toplam "puan" elde etmek için bir güven aralığı alt sınırının kullanılmasını önermektedir. Ancak, bir Bernoulli modeliyle çalışıyor: derecelendirmeler ya başparmak yukarıya ya da başparmak aşağı.

Bir öğenin derecelendirme sayısının az olabileceğini varsayarak , - yıldız arasında ayrı bir puan veren bir derecelendirme modeli için kullanılacak makul bir güven aralığı nedir ? $1$ $k$

Wilson merkezini ve Agresti-Coull aralıklarını nasıl uyarlayabileceğimi düşünüyorum.

\tilde{p} = \frac{\sum_{i = 1}^{n} x_{i} + z_{α / 2}^{2} p_{0}}{n + z_{α / 2}^{2}}

$\tilde{p} = \frac{\sum_{i=1}^n{x_i} + z_{\alpha/2}^2\; p_0}{n + z_{\alpha/2}^2}$

nerede ya veya (muhtemelen daha iyi) tüm öğeler üzerinde ortalama derecesi bulunuyor. Ancak, aralığın genişliğini nasıl uyarlayacağımdan emin değilim. Benim (gözden geçirilmiş) en iyi tahminim $p_0 = \frac{k+1}{2}$

\tilde{p} \pm \frac{z_{α / 2}}{\tilde{n}} \sqrt{\frac{\sum_{i = 1}^{n} (x_{i} - \tilde{p})^{2} + z_{α / 2} (p_{0} - \tilde{p})^{2}}{\tilde{n}}}

$\tilde{p} \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\frac{\sum_{i=1}^n{(x_i - \tilde{p})^2} + z_{\alpha/2}(p_0-\tilde{p})^2}{\tilde{n}}}$

ile $\tilde{n} = n + z_{\alpha/2}^2$ , ancak bu alarak Agresti-Coull bir benzer olarak elle sallayarak daha daha fazla olan haklı olamaz

Estimate (\bar{X}) \pm \frac{z_{α / 2}}{\tilde{n}} \sqrt{Estimate (Var (X))}

$\text{Estimate}(\bar{X}) \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\text{Estimate}(\text{Var}(X))}$

Uygulanan standart güven aralıkları var mı? (Herhangi bir dergiye aboneliğim veya bir üniversite kütüphanesine kolay erişimimin olmadığına dikkat edin; elbette uygun referanslar verin, ancak lütfen asıl sonuçla destekleyin!)

confidence-interval estimation

— Peter Taylor
kaynak

4

Mevcut cevaplar (belki de kibarlık dışı) bu konunun etrafında dolaştığı için, bu uygulamanın güven sınırlarının korkunç bir suistimali olduğunu belirtmek isterim. LCL'yi sıralamak için kullanmanın teorik bir gerekçesi yoktur (ve LCL'nin sıralama amaçları için aslında ortalamanın kendisinden daha kötü olmasının birçok nedeni vardır). Bu nedenle, bu soru kötü kusurlu bir yaklaşıma dayanmaktadır, bu yüzden göreceli olarak az dikkat çekmiştir.

— whuber

2

Bu özel sorunun güzel bir özelliği, asıl soruyu görmezden gelmemiz ve bunun altında yatan en önemli şey üzerinde odaklanmamız için yeterli bağlam içermesidir.

— Karl

1

Değiştirilen unvanı istediğin gibi değiştirdiğine sevindim Peter. Orijinal düzenlemem kendi kendine hizmet etmemek için değil, başlığın sorunun metnini yansıtmasını sağlamak için yapıldı. Gerçekten ne demek istediğinin son hakimi sensin.

— whuber

23

Karl Broman'ın cevabında söylediği gibi, Bayesçi bir yaklaşım muhtemelen güven aralıklarını kullanmaktan çok daha iyi olurdu.

Güven Aralıkları ile İlgili Sorun

Güven aralıklarını kullanmak neden çok iyi çalışmıyor? Bunun bir nedeni, bir öğe için çok fazla puana sahip değilseniz, güven aralığınızın çok geniş olacağı, böylece güven aralığının alt sınırının küçük olacağıdır. Bu nedenle, çok sayıda derecelendirme içermeyen öğeler listenizin en altında yer alır.

Sezgisel, ancak, muhtemelen tüm öğeleri (yani, bir doğru tahmini notunu itmek istiyor üzerinde ortalama puanı etkiler öğenin tahmini notunu kıpırdatmak istediğim çok değerlendirmesi olmadan ürün, ortalama öğeye yakın olmak istiyorum öncesinde ) . Bu tam olarak bir Bayesian yaklaşımının yaptığı şeydir.

Bayes Yaklaşımı I: Derecelendirme Üzerine Normal Dağılım

Tahmini reytingi bir öncekine kaydırmanın bir yolu, Karl'ın cevabında olduğu gibi, formunun bir tahminini kullanmaktır : $w*R + (1-w)*C$

$R$ , maddelere ilişkin derecelendirmelerin ortalamasıdır.
$C$ , tüm öğelerin üzerindeki ortalamadır (veya puanınızı düşürmek istediğiniz önceki durum).
Formülün sadece ve ağırlıklı bir kombinasyon olduğunu unutmayın . $R$ $C$
$w = \frac{v}{v+m}$ , atanan ağırlıktır , , bira için yorumların sayısıdır ve , bir tür sabit "eşik" parametresidir. $R$ $v$ $m$
Not o zaman biz şimdiki öğe için değerlendirmesi çok şey var olduğunda, yani, o zaman, çok büyük bizim tahmin derece çok yakın olduğunu, bu yüzden çok yakın 1'e olan ve biz önce pek dikkat . , küçük olduğunda , , 0'a çok yakındır, bu nedenle, tahmini derecelendirme, önceki çok fazla ağırlık koymaktadır . $v$ $w$ $R$ $C$ $v$ $w$ $C$

Aslında bu tahminde, bireysel puanlamalar bu ortalama etrafında merkezlenmiş normal bir dağılımdan geldiğinde, maddenin ortalama puanının arka tahmini olarak Bayesci bir yorum yapılabilir .

Bununla birlikte, derecelendirmelerin normal bir dağılımdan geldiğini varsayarsak, iki sorun vardır:

Normal bir dağılım süreklidir , ancak derecelendirmeler ayrıktır .
Bir öğeye ilişkin derecelendirmeler, her zaman, tek tip bir Gauss şeklini takip etmiyor. Örneğin, belki de eşyanız kutuplaşıyor, bu yüzden insanlar ya çok yüksek bir derecelendirme verme ya da çok düşük bir derecelendirme verme eğilimindedir.

Bayes Yaklaşımı II: Derecelendirmelere Göre Çok Sıralı Dağılım

Bu yüzden derecelendirmeler için normal bir dağılım varsaymak yerine, bir multinom dağılımını farz edelim . Olduğunu, bazı özel madde göz önüne alındığında, bir olasılık var rastgele kullanıcı 1 yıldız, bir olasılık vereceğini rastgele kullanıcı o yüzden 2 yıldızları ve vereceğini. $p_1$ $p_2$

Elbette bu olasılıkların ne olduğu hakkında hiçbir fikrimiz yok. Bu öğe için gittikçe daha fazla derecelendirme elde , yakın olduğunu , burada , 1 yıldız veren kullanıcı sayısı ve , puan alan toplam kullanıcı sayısıdır Öğe, ama ilk başladığımızda hiçbir şeyimiz yok. Bu yüzden bu olasılıklar üzerine bir Dirichlet'in önce . $p_1$ $\frac{n_1}{n}$ $n_1$ $n$ $Dir(\alpha_1, \ldots, \alpha_k)$

Bu Dirichlet'in önceki adı nedir? Her bir parametresinin, bazı sanal kişilerin yıldıza verdiği öğelerin kaç kez "sanal sayım" olduğunu düşünebiliriz . Örneğin, , ve diğer tüm eşitse, iki sanal öğenin 1 yıldıza verdiğini ve bir sanal kişinin 2. öğeye verdiğini söyleyerek bunu düşünebiliriz. yıldızlar. Dolayısıyla, gerçek kullanıcıları bile almadan önce, bu sanal dağıtımı, öğenin derecelendirmesini tahmin etmek için kullanabiliriz. $\alpha_i$ $i$ $\alpha_1 = 2$ $\alpha_2 = 1$ $\alpha_i$

[ parametrelerini seçmenin bir yolu , yıldızlarının oy oranına eşit değerini ayarlamaktır . ( parametrelerinin mutlaka tamsayı olmadığına dikkat edin.)] $\alpha_i$ $\alpha_i$ $i$ $\alpha_i$

Ardından, gerçek derecelendirmeler girdikten sonra, sayıları Dirichlet'inizin sanal sayımlarına ekleyin. Öğenizin derecesini tahmin etmek istediğinizde, yalnızca öğenin derecelendirmelerinin (hem sanal derecelendirmelerin hem de gerçek derecelendirmelerin) ortalamasını alın.

— raegtin
kaynak

1

Yaklaşım 2, yaklaşım 1 ile aynı şekilde çalışır, değil mi, farklı bir gerekçeyle mi?

— Peter Taylor

2

@Peter: Ah, doğru! Bunu siz söyleyene kadar fark etmediniz =). (Yapmak istediğiniz tek şey posterin ortalamasını almaksa, bunlar özdeştir. Sanırım bir tür kutupsallık ölçüsü gibi farklı türde bir skoru hesaplamak istiyorsanız Dirichlet posterioruna sahip olmak yararlı olabilir. biraz nadir olabilir.)

— raegtin

1

Yaklaşım 1'de, genellikle nasıl seçersiniz ?

m

$m$

— Jason C

15

Bu durum Bayes yaklaşımı için haykırıyor. Basit Bayes derecelendirme sıralaması için yaklaşımlar vardır burada (ilginç yorumlarla özellikle ödeme) ve burada daha sonra, bunlara ilave açıklama burada . Bu bağlantıların ilkinde yer alan yorumlardan birinin işaret ettiği gibi:

En İyi BiraAdvocate (BA) ... Bayesian tahmini kullanıyor:

ağırlıklı rütbe (WR) = (v / (v + m)) × R + (m / (v + m)) × C

burada:
R = bira için inceleme ortalaması
v = bira için inceleme sayısı
m = listelenmesi gereken minimum inceleme (şu anda 10)
C = listedeki ortalama (şu anda 2.5)

— Karl
kaynak

2

Beer Advocate yönteminin bir dezavantajı, değişkenliği hesaba katmamasıdır. Yine de, bu düşünme biçimini alt kural sınırlama fikrine tercih ederim.

— Karl