Uzmanlardan öncelikleri ortaya çıkarmak

Bir Bayesian modelini takarken uzmanlardan önceki dağıtımları nasıl yapmalıyım?

John Cook bazı ilginç tavsiyeler veriyor. Temel olarak, uzmanlardan yüzdelikler / miktarlar (ölçek parametreleri değil, belirsiz ölçekler!) Alın ve bunları uygun dağılıma uygun hale getirin.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Şu anda, yüksek lisans tezi için bir deneme tekniği olarak deneme ruleti yöntemini araştırıyorum . Bu, bir uzmanın belirsiz bir miktar için öznel olasılık dağılımını temsil etmesini sağlayan grafiksel bir yöntemdir.

Uzmanlara, toplamı 1'e kadar olan eşit yoğunlukları temsil eden sayaçlar (ya da kumarhane fişleri olarak düşünebilecekleri) verilir - örneğin, her biri 20 olasılık = 20 fiş. Daha sonra bunları, önceden belirlenmiş bir ızgara üzerinde düzenlemeleri, sonuç aralıklarını temsil eden kutular ile yönlendirmeleri istenir. Her sütun, karşılık gelen çöp kutusu sonucunu alma olasılığına inancını temsil eder.

Örnek: Bir öğrenciden gelecekteki bir sınavda notu tahmin etmesi istenir. Aşağıdaki şekil, öznel bir olasılık dağılımının ortaya çıkması için tamamlanmış bir ızgarayı göstermektedir. Kılavuzun yatay ekseni, öğrenciden düşünmesi istenen olası kutuları (veya işaret aralıklarını) gösterir. Üst satırdaki sayılar, kutu başına yonga sayısını kaydeder. Tamamlanan ızgara (toplam 20 fiş kullanarak), öğrencinin notun 60 ile 64,9 arasında olacağına dair% 30 şans olduğuna inandığını gösterir.

Bu tekniği kullanmaktan yana bazı nedenler:

1. Uzmanın öznel olasılık dağılımının şekli hakkında birçok soru uzmana uzun bir dizi soru sormaya gerek kalmadan cevaplanabilir - istatistikçi herhangi bir puanın altında veya üstünde veya herhangi bir iki nokta arasındaki yoğunluğu basitçe okuyabilir.

2. Çıkarma işlemi sırasında, uzmanlar başlangıçta yerleştirme şeklinden memnun kalmazlarsa çiplerin etrafında hareket edebilir - bu nedenle sunulacak olan sonuçtan emin olabilirler.

3. Uzmanı, sağlanan olasılıklar setinde tutarlı olmaya zorlar. Tüm cipsler kullanılıyorsa, olasılıklar bire toplanmalıdır.

4. Grafiksel yöntemler, özellikle mütevazı düzeyde istatistiksel karmaşıklığa sahip katılımcılar için daha kesin sonuçlar vermektedir.

Öncelikleri ortaya çıkarmak zor bir iştir.

Bir yazıda Olasılık dağılımlarının için İstatistiksel Yöntemler ve ortaya çıkartılması Olasılık dağılımlarının önce meydana çıkarılması için oldukça iyi pratik kılavuzları bulunmaktadır. Her iki bildiride de süreç şöyle özetlenmiştir:

1. arkaplan ve hazırlık;
2. uzman (lar) ın belirlenmesi ve işe alınması;
3. motivasyon ve uzman (lar) ın eğitimi;
4. yapılandırma ve ayrıştırma (genellikle tam olarak hangi değişkenlerin çıkarılması gerektiğine ve çok değişkenli durumda ortak dağılımların nasıl ortaya çıkarılacağına karar verme);
5. ortaya çıkarmanın kendisi.

Tabii ki, bu durumların dağıtımın (örneğin, Bayesian bağlamında, Beta dağıtımları ) uygun olabilecek veya başka türlü tanımlayabilecek bilgilerle nasıl sonuçlandığını da gözden geçiriyorlar , ancak oldukça önemlisi, uzman bilgisini modellemede ortak tuzaklara değiniyorlar (sabitleme, dar ve küçük kuyruklu dağılımlar, vb.)

Konu uzmanının öncekinin ortalamasını veya modunu belirtmesine izin vermesini öneririm, ancak ölçek olarak verdiklerini ayarlamaktan çekinmeyin . Çoğu insan varyansı ölçmede çok iyi değildir.

Ve kesinlikle uzmanın dağıtım ailesini, özellikle de kuyruk kalınlığını belirlemesine izin vermem. Örneğin, bir öncek için simetrik bir dağılıma ihtiyacınız olduğunu varsayalım. Hiç kimse sübjektif inancını, normal bir dağılımı, yani 5 derece serbestlik dereceli bir Öğrenci-t dağılımından ayıracak kadar kesin bir şekilde belirtemez. Ancak bazı durumlarda, t (5) önceliği normal öncekinden daha sağlamdır. Kısacası, kuyruk kalınlığı seçiminin uzman görüşünü ölçmek değil teknik bir istatistik meselesi olduğunu düşünüyorum.

Bu ilginç soru ACERA'da yapılan bazı araştırmaların konusudur . Baş araştırmacı Andrew Speirs-Bridge ve eserleri kesinlikle google yetenekli. :)