Daha az kişi tarafından yüksek puan alan öğeleri tercih etmek için derecelendirme sistemine ağırlık verin?

Benimle tanıştığınız için şimdiden teşekkür ederim, hiçbir istatistikçi değilim ve hayal ettiğimi nasıl tanımlayacağımı bilmiyorum, bu yüzden Google bana burada yardım etmiyor ...

Üzerinde çalıştığım bir web uygulamasına derecelendirme sistemi ekliyorum. Her kullanıcı, her bir öğeyi tam olarak bir kez derecelendirebilir.

4 değeri olan bir ölçek hayal ediyordum: "kesinlikle beğenmeme", "beğenmeme", "beğenme" ve "kuvvetle beğenme" gibi ve bu değerleri sırasıyla -5, -2, +2 ve +5 olarak atamayı planlamıştım .

Şimdi, her öğe aynı sayıda oylamaya sahip olsaydı, bu puanlama sistemiyle en çok sevilen ve en az sevilen öğeleri açıkça farklılaştıracak kadar rahat olurdum. Ancak, öğeler aynı sayıda oylamaya sahip olmayacak ve farklı fotoğraflardaki oy sayısı arasındaki eşitsizlik oldukça dramatik olabilir.

Bu durumda, iki madde üzerindeki kümülatif puanların karşılaştırılması, çok vasat derecelendirmeye sahip eski bir öğenin, çok daha az oy alan olağanüstü yeni bir maddeden çok daha yüksek bir puana sahip olacağı anlamına gelir.

Yani, bir ortalama almamızı düşündüğüm ilk açık şey ... ama şimdi bir öğenin yalnızca bir "+5" derecesi varsa, 99 "+5" puanı olan bir maddeden daha iyi bir ortalamaya sahiptir. ve 1 "+2" derecelendirme. Sezgisel olarak bu, bir öğenin popülaritesinin doğru bir temsili değildir.

Bu sorunun yaygın olduğunu hayal ediyorum ve sizlere daha fazla örnekle belabor etmeme gerek yok, bu yüzden bu noktada duracağım ve gerekirse yorumlarda detaylandıracağım.

Sorularım:

1. Bu tür bir sorun ne denir ve çözmek için kullanılan tekniklerin bir terimi var mı? Bunu bilmek istiyorum, böylece okuyabilirim.
2. Konuyla ilgili herhangi bir lay dostu kaynak biliyorsanız, bir bağlantıyı çok takdir ediyorum.
3. Son olarak, bu tür verilerin nasıl etkili bir şekilde toplanacağı ve analiz edileceği hakkında başka önerileri takdir ediyorum.

Bununla savaşmanın bir yolu, her kategoride oranlar kullanmaktır, bu da her kategori için sayı girmenizi gerektirmez ("% 80 beğeni" olarak derecelendirilen% 80 olarak bırakabilirsiniz). Ancak oranlar az sayıda derecelendirme sorunundan muzdariptir . Bu, örneğinizde 1 +5 dereceli Fotoğrafın 99 +5 ve 1 +2 dereceli olandan daha yüksek ortalama puan (ve oran) alacağını gösterir. Bu benim sezgilerime uymuyor (ve insanların çoğundan şüpheleniyorum).

Bu küçük örneklem büyüklüğü sorununu çözmenin bir yolu, " Laplace'ın halefiyet kuralı " olarak bilinen bir Bayes tekniği kullanmaktır (bu terimi aramak faydalı olabilir). Olasılıkları hesaplamadan önce her kategoriye 1 "gözlem" eklemeyi içerir. Sayısal bir değer için bir ortalama almak istiyorsanız , ağırlıkların art arda kuralıyla hesaplanan olasılıklar olduğu ağırlıklı bir ortalama öneririm .

Matematiksel form için sırasıyla "kesinlikle beğenmeme", "beğenmeme", "beğenme" ve "kuvvetle beğenme" yanıtlarının sayısını (iki örnekte ve ). Daha sonra için olasılık (veya ağırlık)$n_{sd},n_{d},n_{l},n_{sl}$$n_{sl}=1,n_{sd}=n_{d}=n{l}=0$$n_{sl}=99,n_{l}=1,n_{sd}=n_{d}=0$

Verdiğiniz iki örnek için, ve ki bence "sağduyu" ile daha yakından aynı fikirdeyim. Eklenen sabitler kaldırıldığında, ilk sonucun olması gerekenden daha yüksek görünmesini sağlayan ve (en azından bana yine de).$\frac{1+1}{1+0+0+0+4}=\frac{2}{5}$$\frac{99+1}{99+1+0+0+4}=\frac{100}{104}$$\frac{1}{1}$$\frac{99}{100}$

İlgili puanlar, aşağıda yazdığım ağırlıklı ortalamaya göre verilmiştir:

Ya da daha özlü olarak

Bu, ve iki örneğinde puan verir . Bu iki vaka arasında uygun bir fark olduğunu düşünüyorum.$\frac{5}{5}=1$$\frac{497}{104}\sim 4.8$

Bu biraz "matematik" olabilir bu yüzden daha fazla açıklama gerekiyorsa bana bildirin.

Grafiksel bir yaklaşım benimserdim. X ekseni ortalama derecelendirme olabilir ve y, derecelendirme sayısı olabilir. Bunu, genç fenomenlerin kıdemli yıldızların katkılarıyla karşılaştırmak için spor istatistikleriyle yapardım. Bir nokta sağ üst köşeye ne kadar yakınsa ideale o kadar yakındır. Tabii ki, "en iyi" öğeye karar vermek yine de öznel bir karar olacaktır, ancak bu bir yapı sağlayacaktır.

Ortalama derecelendirmeyi başka bir değişkene göre çizmek istiyorsanız, kabarcık sayısını kullanarak üçüncü bir değişken olarak derecelendirme sayısını, bir balon grafiğinde (ör. XL veya SAS'da) ayarlayabilirsiniz.