İki sıralama algoritması nasıl karşılaştırılır?

12

İki sıralama algoritmasını karşılaştırmak istiyorum. Bu algoritmalarda, istemci aramasında bazı koşulları belirtir. Müşterinin gereksinimlerine göre, bu algoritma veri tabanındaki her öğe için bir puan atamalı ve en yüksek puanlara sahip öğeleri almalıdır.

Bu sitede sorumla ilgili farklı konular okudum ve internette arama yaptım. Aramalarıma göre, sıralama algoritmalarını karşılaştırmak için bazı metrikleri açıklayan en alakalı makale şuydu: Brian McFee ve Gert RG Lanckriet, Sıralamaya Göre Metrik Öğrenme, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Bence prec @ k, MAP, MRR ve NDCG, kullanmak için iyi metrikler, ama bir sorunum var:

Algoritma sıralama sonuçlarım, bu yüzden sonuç listemdeki ilk öğe en yüksek puanı alan ikinci öğe, ikinci sonuç ikinci en yüksek puanı aldı, vb. Arama algoritmamı örneğin en iyi 5 sonuçla sınırlandırıyorum. Sonuçlar en iyi 5 öğedir. Bu nedenle, hassasiyet 1 olacaktır. Aramamı en iyi sonucu bulmak için sınırlandırdığımda, en iyisini bulur. Yine, hassasiyet 1 olacaktır. Ancak sorun şu ki, bu sonucu gören insanlar için kabul edilemez.

Ne yapabilirim? Bu algoritmaları nasıl karşılaştırabilirim ve birini diğerinden daha iyi gösterebilirim?

machine-learning precision-recall average-precision

— MK
kaynak

6

İndirimli Kümülatif Kazanç (DCG) , herhangi bir arama motoruna göre sıralamanın değerlendirilmesi için kullanılan en popüler metriklerden biridir. Bu, kalite sıralamasının bir ölçüsüdür. Bilgi alma, genellikle web arama motorunun etkinliğini ölçmek için kullanılır.

Aşağıdaki varsayımlara dayanmaktadır:

Daha alakalı aramalar, daha önce bir arama sonucunda görünüyorsa daha kullanışlıdır.
Yüksek derecede alakalı dokümanlar, önemsiz dokümanlardan daha iyi olan marjinal olarak ilgili dokümanlardan daha kullanışlıdır.

DCG'nin formülü aşağıdaki gibidir:

\begin{matrix} (1) & D C G_{p} = \sum_{i = 1}^{p} \frac{r e l_{i}}{l o g_{2} (i + 1)} = r e l_{1} + \sum_{i = 2}^{p} \frac{r e l_{i}}{l o g_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {rel_i} {log_2 (i+1)} = rel_1 + \sum_{i=2}^p \frac {rel_i} {log_2 (i+1)} \tag{1}$

Nerede:

i, bir belgenin arama sonucundaki döndürülen konumudur.
$rel_i$ , belgenin dereceli alaka
p toplamı (döndürülen sonuç sayısı) dolayısıyla birikmiş birikimli kazanç, döndürülen sonucun performans metriklerini verir.

DCG aşağıdakiler tarafından verilen CG'den (Kümülatif Kazanç) türetilir :

\begin{matrix} (2) & C G_{p} = \sum_{i = 1}^{p} r e l_{i} \end{matrix}

$CG_p = \sum_{i=1}^p rel_i \tag{2}$

(2) 'den sonuç sırasındaki bir değişiklik için değişmediği görülebilir . Böylece bu sorunun üstesinden gelmek için DCG tanıtıldı. Belgelerin geri alınmasına büyük önem vermek için popüler olan farklı bir DCG formu vardır. DCG'nin bu sürümü: $CG_p$

\begin{matrix} (3) & D C G_{p} = \sum_{i = 1}^{p} \frac{2^{r e l_{i}} - 1}{l o g_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {2^{rel_i} - 1} {log_2 (i+1)} \tag{3}$

(1) ve (3) 'te sunulan DCG denkleminin bariz bir dezavantajı, farklı sayıda sonuç döndüren algoritmaların etkili bir şekilde karşılaştırılamamasıdır. Bunun nedeni, değeri ne kadar yüksek olursa değeri o kadar yüksek olur. $p$ $DCG_p$

Bu sorunun üstesinden gelmek için normalize edilmiş DCG (nDCG) önerilmektedir. Tarafından verilir,

n D C G_{p} = \frac{D C G_{p}}{I D C G_{p}}

$nDCG_p = \frac {DCG_p} {IDCG_p}$

burada , tarafından verilen İdeal , $IDCG_p$ $DCG_p$

I D C G_{p} = \sum_{i = 1}^{| R E L |} \frac{2^{r e l_{i}} - 1}{l o g_{2} (i + 1)}

$IDCG_p = \sum_{i=1}^{|REL|} \frac {2^{rel_i} - 1} {log_2 (i+1)}$

Nerede | REL | p pozisyonunda korpus ile alaka düzeyine göre sıralanan belgelerin listesidir.

Mükemmel bir sıralama algoritması için,

D C G_{p} = I D C G_{p}

$DCG_p = IDCG_p$

NDCG değerleri [0,1] aralığında ölçeklendiğinden, bu metrikler kullanılarak çapraz sorgu karşılaştırması mümkündür.

Dezavantajları: 1. nDCG, sonuçta kötü belgelerin alınmasını cezalandırmaz. Bu, belgelere atfedilen alaka düzeyi değerleri ayarlanarak düzeltilebilir. 2. nDCG eksik belgeleri cezalandırmaz. Geri alma boyutu düzeltilerek ve eksik belgeler için minimum puan kullanılarak bu düzeltilebilir.

Bakın bu nDCG örnek hesaplamalar görmek için.

Referans

— m1cro1ce
kaynak

0

Yararlı Kaynaklar:

http://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt
http://www.nii.ac.jp/TechReports/05-014E.pdf
http://www.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
http://hal.archives-ouvertes.fr/docs/00/72/67/60/PDF/07-busa-fekete.pdf
Bilgi Edinme Sıralamasının Öğrenilmesi (Tie-Yan Liu)

— Renaud
kaynak