Neden f beta skoru beta'yı böyle tanımlar?

10

Bu F beta puanı:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Wikipedia makalesi bu devletler . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Bu fikri anlayamadım. Neden böyle tanımlanır ? şu şekilde tanımlayabilir miyim : $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

Ve nasıl gösterilecek β times as much importance?

machine-learning precision-recall model-evaluation

— düzenli
kaynak

2

Aşağıda, "neden Beta değil Beta kare " konusunu ele alan diferansiyel hesabı içeren daha yeni bir cevaba göz atın .

— javadba

19

İzin vermek bir bilgisayar ve ilk tanımı ağırlıklı olarak set zaman ikinci ağırlığı, iki tanım eşdeğerdir , bu iki tanım tanımında tek simge farkları temsil etmektedir, böylece skoru . Hem ilk yolu (örneğin wikipedia sayfasında ) hem de ikinciyi (örneğin burada ) tanımladığını gördüm . $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

ölçü hassasiyeti ve hatırlama, hassas karşılıklı ve hatırlama karşıtının ortalama yani karşılıklı harmonik ortalaması alınarak elde edilir: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Paydada eşit ve 1'e kadar olan ağırlıkları kullanmak yerine ( Geri çağırma için ve $\frac{1}{2}$ ), bunun yerine hala 1'e kadar olan ancak geri çağırmadakiağırlığın precision hassasiyetteki ağırlığınkatı olduğuağırlıkları atayabiliriz( $\frac{1}{2}$ $\beta$ Geri çağırma için ve $\frac{\beta}{\beta+1}$ Hassasiyet için ). Bupuanıiçin ikinci tanımınızı verir: $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Yine, burada yerine kullansaydık , ilk tanımınıza ulaşırdık, bu yüzden iki tanım arasındaki farklar sadece gösterimseldir. $\beta^2$ $\beta$

— josliber
kaynak

1

β

$\beta$

1

"Beta'ya değil neden Beta karesi " konusunu ele alan diferansiyel hesap aşağıdaki daha yeni bir cevapta yer almaktadır.

— javadba

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

6

$\beta^{2}$ $\beta$ $\beta$

$\beta^{2}$

$P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Bu varlığın motivasyonu:

$P/R$

$\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

$\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

$\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Elde ederiz:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Sorunuzdaki formu vermek için yeniden düzenlenebilir.

$\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Önerdiğiniz gibi bir puan tanımlayabilirsiniz, ancak bu durumda ya tartışılan yorumun artık geçerli olmadığını ya da kesinlik ve hatırlama arasındaki ticareti ölçmek için başka bir tanım ima ettiğinizi bilmelisiniz.

Dipnotlar:

$P/R$

Referanslar:

— Bir kişi
kaynak

1

Bu kabul edilen cevap olmalı.

— javadba

3

Bir şeyi hızlıca belirtmek için.

Bu, beta değeri arttıkça hassaslığa daha fazla değer verdiğiniz anlamına gelir.

Aslında bunun tam tersi olduğunu düşünüyorum - F-ring puanlamasında daha yüksek olduğu için paydanın küçük olmasını istiyorsunuz. Bu nedenle, β değerini düşürürseniz, model iyi bir hassasiyet puanına sahip olduğu için daha az cezalandırılır. Eğer β artırırsanız, hassasiyet yüksek olduğunda F-β puanı daha fazla cezalandırılır.

F-ring puanlamasını kesinlik değeri verecek şekilde ağırlıklandırmak istiyorsanız, β 0 <β <1 olmalıdır, burada β-> 0 sadece kesinlik değerlerini verir (pay çok küçük olur ve paydadaki tek şey hatırlanır, hatırlama arttıkça F-β skoru azalır).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
kaynak

0

Β ^ 2'nin hassasiyetle çarpılmasının nedeni, F-Skorlarının tanımlanma şeklidir. Bu, beta değeri arttıkça hassaslığa daha fazla değer verdiğiniz anlamına gelir. Bunu da işe yarayacak hatırlama ile çarpmak istiyorsanız, beta değeri arttıkça hatırlamaya daha çok değer vermeniz anlamına gelir.

— Mahmoud
kaynak

0

1'den büyük beta değeri, modelimizin Hassasiyet ile karşılaştırıldığında Hatırlama modeline daha fazla dikkat etmesini istediğimiz anlamına gelir. Diğer yandan, 1'den küçük bir değer Hassaslığa daha fazla vurgu yapar.

— Mohit Sharma
kaynak