Hassasiyet hatırlamadan ne zaman daha önemlidir?

Herkes hassasiyetin önemli olduğu ve hatırlamanın önemli olduğu bazı örnekler verebilir mi?

• Nadir kanser veri modellemesi için yanlış negatifleri hesaba katmayan her şey bir suçtur. Hatırlama , hassasiyetten daha iyi bir ölçüdür.
• YouTube önerileri için yanlış negatifler daha az endişe kaynağıdır. Hassasiyet burada daha iyi.

Hatırlama daha önemli olduğunda size gerçek davamı verebilirim:

Her hafta web sitemize kayıt olan binlerce ücretsiz müşterimiz var. Çağrı merkezi ekibi hepsini aramak istiyor, ancak bu imkansız, bu yüzden bir alıcı olma şansı olanları seçmemi istiyorlar (yüksek sıcaklıkla bunlara atıfta bulunmamızdır). Biz satın almayacak bir adam aramak umurumda değil (bu yüzden hassasiyet önemli değil) ama bizim için yüksek sıcaklık ile hepsinin her zaman seçimimde olması çok önemlidir, bu yüzden satın almadan gitmezler. Bu , hassasiyetin cehenneme giderse de, modelimin yüksek bir hatırlamaya sahip olması gerektiği anlamına gelir .

Umut ediyorum bu yardım eder! Miguel.

Bazı durumlarda hatırlama hassasiyetten daha önemli olabilir (ya da tam tersi), ancak daha yorumlanabilir bir değerlendirme almak için her ikisine de ihtiyacınız vardır.

Örneğin, @SmallChess tarafından belirtildiği gibi, tıp camiasında, yanlış negatif genellikle ön teşhisler için yanlış pozitiften daha felakettir. Bu nedenle, hatırlamanın daha önemli bir ölçüm olduğu düşünülebilir. Bununla birlikte,% 100 geri çağırma işlemine sahip olabilirsiniz, ancak işe yaramaz bir modeliniz olabilir: modeliniz her zaman olumlu bir tahmin çıkarsa,% 100 geri çağırma olurdu, ancak tamamen bilgilendirici değildir.

Bu yüzden birden fazla metriğe bakıyoruz:

• hassas hatırlama eğrisi
• AUROC
• ve bazen F puanı gibi metrikler

Hangisi daha önemlidir, her bir hatanın maliyetinin ne olduğuna bağlıdır.

Hassasiyet doğrudan maliyetleri içerir; ne kadar yanlış pozitifleriniz varsa, gerçek pozitif başına o kadar fazla maliyetiniz olur. Maliyetleriniz düşükse, hassasiyet o kadar önemli değildir. Örneğin, 1 milyon e-posta adresiniz varsa ve hepsine bir e-posta göndermeniz 10 ABD dolarına mal olacaksa, muhtemelen yanıt vermesi en muhtemel kişileri belirlemeye çalışmak yerine zaman ayırmaya değmez, yalnızca hepsini spam yapmaktır.

Diğer taraftan, hatırlama, fırsat maliyetlerini de içerir; her yanlış negatif olduğunda fırsattan vazgeçiyorsun. Bu nedenle, doğru doğru tanımlamanın marjinal değeri küçük olduğunda hatırlama en az önemlidir, örneğin birden fazla fırsat vardır, aralarında çok az fark vardır ve sadece sınırlı bir sayı takip edilebilir. Örneğin, bir elma satın almak istediğinizi varsayalım. Mağazada 100 elma var ve 10 tanesi kötü. İyi elmaların% 80'ini özleyen kötü elmaları ayırt etme yönteminiz varsa, yaklaşık 18 iyi elmayı tanımlayacaksınız. Normalde,% 20'lik bir hatırlama korkunç olurdu, ancak sadece 5 elma istiyorsanız, diğer 72 elmayı kaçırmak gerçekten önemli değil.

Bu nedenle hatırlama en önemli durumlarda:

(Sadece 10 iyi elma olsaydı o zaman sadece% 20'lik bir geri çağırma oranı ile 5 iyi olanları bulmak pek mümkün olurdu) fırsatlardan -The sayısı azdır
bazı elmalar diğerlerinden daha iyi olup olmadığını fırsatlar arasındaki önemli farklar (-İşte , daha sonra 5 iyi elma elde etmek için% 20'lik bir hatırlama oranı yeterlidir, ancak mutlaka en iyi elma olmayacaktır )
VEYA
-Çok sayıda fırsat için bile fırsatların marjinal faydası yüksek kalır. Örneğin, çoğu alışveriş yapan 18'den fazla iyi elmadan çok fazla fayda sağlamayacak olsa da , mağazada satmak için 18'den fazla elmanın olmasını istiyor.

Dolayısıyla, oyunculuk maliyeti yüksekken oyunculuk maliyeti düşük olduğunda hassasiyet hatırlamaktan daha önemli olacaktır. Bunun, herhangi bir işlem yapmanın maliyeti değil "hiçbir işlem yapmamanın maliyeti" değil, aday başına hareket etme / davranmamanın maliyeti olduğunu unutmayın. Elma örneğinde, herhangi bir elma satın almamanın maliyeti değil, belirli bir elmayı satın almanın / almamanın maliyeti; belirli bir elmayı satın almamanın maliyeti düşüktür çünkü başka birçok elma vardır. Kötü bir elma satın alma maliyeti yüksek olduğundan, ancak belirli bir iyi elmayı geçirmenin maliyeti düşük olduğundan, bu örnekte hassasiyet daha önemlidir. Bir çok benzer aday olduğunda başka örnekler de işe alınabilir.

Hatırlama, oyunculuk maliyeti düşük olduğunda hassasiyetten daha önemlidir, ancak bir adayı geçme fırsatı maliyeti yüksektir. Daha önce verdiğim spam örneği var (bir e-posta adresini kaçırmanın maliyeti yüksek değil, ancak yanıt vermeyen birine e-posta gönderme maliyeti daha da düşük) ve başka bir örnek, Grip aşısı: Grip aşısına ihtiyacı olmayan birine verin ve birkaç dolara mal olur, ihtiyacı olan birine vermeyin ve ölebilirler. Bu nedenle, sağlık bakım planları genellikle herkese grip aşısı sunacak ve hassasiyeti tamamen göz ardı edecektir.

Birikimin , hassasiyetin hatırlamadan önemini ve tam tersini açıklayan daha fazla örnekle nasıl karşılaşabileceğiniz konusunda harika bir cevabı var.

Diğer cevapların çoğu hatırlamanın önemi için zorlayıcı bir durum ortaya koyuyor, bu yüzden hassasiyetin önemine bir örnek vereceğimi düşündüm. Bu tamamen varsayımsal bir örnektir, ancak durum böyle olur.

Diyelim ki belirli bir günün, uyduları başlatmak için iyi bir gün olup olmadığını tahmin etmek için bir makine öğrenme modeli oluşturuldu.

• Model yanlışlıkla uyduları başlatmak için iyi bir günün kötü ( yanlış negatif ) olduğunu tahmin ederse, fırlatma şansını kaçırırız. Bu o kadar da önemli değil.

• Bununla birlikte, modelin iyi bir gün olduğunu tahmin ederse, ancak aslında uyduları başlatmak için kötü bir gündür ( yanlış pozitif ), o zaman uydular yok edilebilir ve hasarların maliyeti milyarlarca olacaktır.

Bu, hassasiyetin hatırlamaktan daha önemli olduğu bir durumdur.

Kendim için bu anımsatıcıyı bulana kadar hassasiyet ve hatırlama arasındaki farkı hatırlamakta zorlandım:

ÖNCEKİ, GERİ ÇAĞRI ÇAĞRI merkezine olduğu için Gebelik testlerine yöneliktir.

Hamilelik testi ile, test üreticisinin olumlu bir sonucun kadının gerçekten hamile olduğu anlamına geldiğinden emin olması gerekir. İnsanlar aniden evlenerek veya bir ev satın alarak pozitif bir teste tepki gösterebilir (eğer birçok tüketici yanlış pozitif aldıysa ve sebepsiz büyük maliyetler yaşarsa, test üreticisi müşteriden yoksundur). Bir kez yanlış negatif hamilelik testi aldım ve bu sadece hamile olduğumu öğrenmeden önce birkaç hafta daha sürdü ... gerçek nihayetinde belirgin hale geldi. (Pun amaçladı.)

Şimdi sigorta talepleri için bir çağrı merkezi hayal edin. Dolandırıcılık iddialarının çoğu, hafta sonları, dolandırıcıların ortak çalışanlarla bağlantı kurdukları ve uydurma hikayelerini ("diyelim ki araba çalındı") yaptıktan sonra Pazartesi günleri arandı. Bir sigorta şirketinin Pazartesi günleri yapması gereken en iyi şey nedir? Belki de hassasiyeti hatırlamayı tercih etmelidirler. Daha fazla soruşturmayı daha fazla soruşturma için pozitif (muhtemel sahtekarlık) olarak işaretlemek, bazı sahtekarlıkları kaçırmak ve hiç ödenmemiş olması gereken nakit ödemekten daha iyidir. Yanlış bir pozitif (muhtemelen sahtekarlık olarak ek inceleme için işaretlendi, ancak müşteri kaybı gerçekti), bir polis raporunda ısrar edebilecek, güvenlik videosu oluşturma isteğinde bulunabilecek vb. bir dolandırıcı

F1 harika ama test / tahminin nasıl kullanılacağını anlamak gerçekten önemlidir, çünkü her zaman yanlış olma riski vardır ... eğer yanlışsa sonuçların ne kadar korkunç olacağını bilmek istersiniz.

E-posta Spam algılama : Bu, Duyarlılığın Geri Çağırmadan daha önemli olduğu örneklerden biridir .

Hızlı Özet :

• Hassasiyet : Bu, olumlu bir şey tahmin ettiğinizde, aslında kaç kez pozitif olduklarını gösterir. buna karşılık,

• Hatırlama : Bu, gerçek pozitif verileri, kaç kez doğru tahmin ettiğinizi gösterir.

Having bir spam e-posta (pozitif vaka) tespit edilmemiş sol ve spam klasörüne gitmezse spam e-posta saptama durumunda, Tek tamam olmalıdır yukarıda adı geçen ancak email iyi (negatif) ise, o zaman gidin etmemeli, spam dosyası. yani Hassasiyet daha önemlidir. (Model olumlu bir şey (ör. Spam) öngörüyorsa, spam olsa iyi olur. Aksi takdirde önemli e-postaları kaçırabilirsiniz).

Umarım açıklar.

Dengesiz bir sınıfımız olduğunda ve yüksek doğru pozitiflere ihtiyacımız olduğunda, hatırlama yerine hassasiyet tercih edilir. çünkü hassasiyetin formülünde yanlış negatif etkisi yoktur, bu da etkileyebilir.