ROC eğrileri size geleneksel çıkarımın yapamayacağını ne söyler?

Bazı ölçümlerin bir sonuç üzerindeki tahmin yeteneğini belirlemek için ne zaman diğer bazı testlerde ROC eğrilerini kullanmaya eğilimlisiniz?

Ayrık sonuçlarla (canlı / ölü, şimdiki / yok) uğraşırken, ROC eğrilerini ki-kare gibi bir şeyden daha fazla veya daha az güçlü yapan nedir?

ROC işlevi (mutlaka bir eğri değildir), belirli bir istatistiksel modelin (öngörme değişkeninden veya bunlardan oluşan bir gruptan) sağlanan ayrımcılık yeteneğini değerlendirmenizi sağlar.

ROC'ların ana düşüncesi, model tahminlerinin sadece modelin öngörücü değişkenler tarafından sağlanan kanıtlara dayanarak ayrımcılık / tahmin yapma yeteneğinden kaynaklanmadığıdır. Ayrıca çalışma, modelin bir yanıtı öngörmesi için ne kadar kanıtın gerekli olduğunu ve bu yanıtların sonucunun ne olduğunu tanımlayan bir yanıt ölçütüdür. Yanıt kriterleri için oluşturulan değer, model tahminlerini ve sonuçta yapacağı hataların türünü büyük ölçüde etkileyecektir.

Öngörücü değişkenleri ve yanıt ölçütleri olan genel bir model düşünün. Bu model, Evet veya Hayır yanıtını vererek X'in Varlığını tahmin etmeye çalışıyor. Dolayısıyla, şu karışıklık matrisine sahipsiniz:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

Bu matriste, sadece İsabetlerin ve Yanlış Alarmların oranını göz önünde bulundurmanız gerekir (çünkü diğerleri, 1'e 1 olması gerektiğinden, bunlardan türetilebilir). Her tepki kriteri için farklı bir karışıklık matrisi elde edersiniz. Hatalar (Kaçırılanlar ve Yanlış Alarmlar) negatif ilişkilidir, bu da yanlış alarmları en aza indiren bir yanıt ölçütünün eksikleri en üst düzeye çıkardığı anlamına gelir. Mesaj: ücretsiz öğle yemeği yok.

Bu nedenle, modelin belirlenen yanıt kriterlerinden bağımsız olarak vakaları ne kadar iyi ayırt ettiğini / tahmin yaptığını anlamak için, olası yanıt kriterleri aralığında üretilen İsabet ve Yanlış oranları çizersiniz.

Bu çizimden elde ettiğiniz şey ROC işlevidir. Fonksiyonun altındaki alan, modelin ayrımcılık yeteneğinin tarafsız ve parametrik olmayan bir ölçümünü sağlar. Bu önlem çok önemlidir, çünkü cevap kriterleri tarafından üretilebilecek herhangi bir karışıklık içermez.

İkinci önemli husus, fonksiyonu analiz ederek, hangi cevap kriterlerinin hedefleriniz için daha iyi olduğunu tanımlayabilmesidir. Ne tür hatalardan kaçınmak istiyorsunuz ve hatalar nelerdir. Örneğin, bir HIV testini düşünün: bir çeşit kanıt arayan (bu durumda antikorlar) bir testtir ve kanıtların yanıt kriterleri ile karşılaştırılmasına dayanan bir ayrımcılık / tahmin yapar. Bu yanıt ölçütü genellikle çok düşük olarak ayarlanır, böylece Özlüyor'u en aza indirirsiniz. Tabii ki bu, bir maliyeti olan, ancak Misses ile karşılaştırıldığında ihmal edilebilir bir maliyet olan daha Yanlış Alarmlar ile sonuçlanacaktır.

ROC'lerle, bazı modellerin ayrımcılık yeteneğini, yanıt ölçütlerinden bağımsız olarak değerlendirebilir ve ölçtüğünüz şeyin ihtiyaçları ve kısıtlamaları göz önüne alındığında, en uygun yanıt ölçütlerini oluşturabilirsiniz. Hi-square gibi testler bu konuda hiç yardımcı olamaz, çünkü tahminler şans düzeyinde olsa bile testiniz birçok farklı Hit-False Alarm çifti şans seviyesiyle uyumludur.

Sinyal algılama teorisi gibi bazı çerçeveler, ayrımcılık için mevcut kanıtların belirli bir dağıtıma sahip olduğunu (örneğin, normal dağılım veya gama dağılımı) bir öncül olduğunu varsayar. Bu varsayımlar geçerli olduğunda (veya oldukça yakın olduğunda), hayatınızı kolaylaştıran bazı gerçekten güzel önlemler mevcuttur.

Umarım bu size ROC'lerin avantajları konusunda yardımcı olur

Öngörücü sürekli olduğunda ve sonuç ayrık olduğunda bir ROC eğrisi kullanılır, bu nedenle ki-kare testi uygulanamaz. Aslında, ROC analizi bir anlamda Mann-Whitney testine eşdeğerdir: eğrinin altındaki alan, MW testi tarafından test edilen miktar olan P (X> Y) 'dir. Bununla birlikte Mann-Whitney analizi, ROC analizinin ana noktası iken, bir kesim seçmeyi vurgulamamaktadır. Ek olarak, ROC eğrileri genellikle bir ortak değişkenin öngörme yeteneğinin görsel bir göstergesi olarak kullanılır.

En kısa yanıt, geleneksel sinyal algılama testlerinin size ROC (alıcı çalışma karakteristiği) üzerinde sadece tek bir nokta verirken, eğri bir dizi değer üzerinden yanıtları görmenizi sağlar. Ölçütler ve d 'eğri boyunca biri değiştikçe değişebilir. İki öngörücü değişken sınıfı seçilerek üretilen bir t testi ile her bir öngörücü değişkenin parametrik manipülasyonlarına bakarak oluşturulan iki regresyon çizgisi arasındaki fark gibidir.

Daha fazla referansla ilgileniyorsanız, KH Zou'nun web sitesinde, Receiver Operating Characteristic (ROC) Literature Research (Alıcı Operasyonel Karakteristik (ROC) Literatür Araştırması) adlı makalede yer almaktadır .

ROC eğrileri, biyomedikal araştırma ve biyoinformatikteki geniş uygulamalarla farklı sınıflandırıcılar performansını karşılaştırmak istendiğinde de kullanılır.

Birçok yönden ROC'ler, modeller için birincil çıkarsama ve tahmin araçlarından sapmadır. Orada çok değer göremiyorum.