Ortalama Ortalama Duyarlılık ve Ortalama Karşılıklı Sıra

MAP kullanmanın ne zaman uygun olduğunu ve MRR'nin ne zaman kullanılması gerektiğini anlamaya çalışıyorum. MRG'nin en iyi ilgili sonuç sayısı 5'ten az olduğunda ve en iyisi 1 olduğunda kullanıldığını belirten bu sunumu buldum . Diğer durumlarda MAP uygundur. İki sorum var:

• Bunun neden böyle olduğunu gerçekten anlamıyorum.
• Bu iddia için atıfta bulunulan bir referans bulamıyorum.

Çok güçlü bir istatistiksel geçmişe sahip olmadığımı, bu yüzden layman'ın açıklamasının çok yardımcı olacağını unutmayın. Teşekkür ederim.

Bir tür sorgunuz olduğunu ve geri alma sisteminizin size sorgunuzla en alakalı olduğunu düşündüğü en iyi 20 öğenin sıralı bir listesini döndürdüğünüzü düşünün. Şimdi bunun bir temel-gerçeği olduğunu hayal edin, gerçekte bu 20'nin her biri için "evet" in ilgili bir cevap olduğunu veya "hayır" olmadığını söyleyebiliriz.

Ortalama karşılıklı sıralama (MRR) , bu durumlarda size genel bir kalite ölçüsü verir, ancak MRR yalnızca en üst sıradaki ilgili öğeye önem verir . Sisteminiz üçüncü en yüksek noktada ilgili bir öğeyi döndürürse, MRR'nin önem verdiği budur. Diğer ilgili öğelerin (var olduğu varsayılarak) 4 numara mı yoksa 20 numara mı olduğunu umursamıyor.

Bu nedenle, MRR, (a) yalnızca tek bir ilgili sonuç veya (b) kullanım durumunuzda yalnızca en üst sıralarda yer alan bir sistemi gerçekten önemsediğiniz bir sistemi yargılamak için uygundur. Bu, örneğin kullanıcının tıklamak için sadece bir şey bulmak istediği, başka bir şeye ihtiyaç duymadığı bazı web arama senaryolarında geçerli olabilir. (Bu genellikle doğru olsa da, veya on oldukça iyi cevap döndüren bir web aramasından daha mutlu olur ve bunlardan hangisini tıklayacağınıza dair kendi kararınızı verebilirsiniz ...?)

Ortalama ortalama hassasiyet (MAP) , ilgili öğelerin hepsinin yüksek sıralamada olup olmadığını dikkate alır . Bu nedenle, ilk 20 örnekte, yalnızca 3 numaralı ilgili bir yanıt varsa, bu listedeki tüm "evet" öğelerin yukarı doğru toplanıp toplanmadığı da umurunda değildir.

Veri kümenizde yalnızca tek bir ilgili yanıt varsa, MRR ve MAP , standart MAP tanımı altında tam olarak eşdeğerdir .

Nedenini görmek için, bu blog gönderisindeki örneklerden esinlenen aşağıdaki oyuncak örneklerini göz önünde bulundurun :

örnek 1

Sorgu: "Kaliforniya'nın Başkenti"

Seyahatseverlerin oylaması: "Portland", "Sacramento", "Los Angeles"

Sıralama sonuçları (ikili alaka düzeyi): [0, 1, 0]

Doğru cevap sayısı: 1

Karşılıklı Sıralama:$\frac{1}{2}$

Hassasiyet 1: $\frac{0}{1}$

Hassasiyet 2: $\frac{1}{2}$

Hassasiyet 3: $\frac{1}{3}$

Ortalama hassasiyet = .$\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$

Gördüğünüz gibi, tam olarak bir doğru cevabı olan bir sorgu için ortalama hassasiyet, doğru sonucun karşılıklı sırasına eşittir. Bu tür sorguların bir koleksiyonunun MRR'sinin MAP değerine eşit olacağı sonucuna varılır. Bununla birlikte, aşağıdaki örnekte gösterildiği gibi, birden fazla doğru cevap varsa işler farklılaşır:

ÖRNEK 2

Sorgu: "Kaliforniya'daki Şehirler"

Seyahatseverlerin oylaması: "Portland", "Sacramento", "Los Angeles"

Sıralama sonuçları (ikili alaka düzeyi): [0, 1, 1]

Doğru cevap sayısı: 2

Karşılıklı Sıralama:$\frac{1}{2}$

Hassasiyet 1: $\frac{0}{1}$

Hassasiyet 2: $\frac{1}{2}$

Hassasiyet 3: $\frac{2}{3}$

Ortalama doğruluk = .$\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$

Bu nedenle, bu durumda MRR'ye karşı MAP'nin seçimi tamamen ilk doğru vuruştan sonra sıralamanın etkilenmesini isteyip istemediğinize bağlıdır.