Olasılık / bilgiyi farklı kaynaklardan birleştirmek


26

Diyelim ki üç bağımsız kaynağım var ve her biri yarın hava durumu için tahminlerde bulunuyor. Birincisi, yarın yağmur olasılığının 0, ikincisi ise olasılığın 1 olduğunu ve sonuncusunun da olasılığın% 50 olduğunu söylüyor. Bu bilgi verilen toplam olasılığı bilmek istiyorum.

Eğer çarpma teoremini bağımsız olaylar için uygularsam, 0 aldım, ki bu doğru görünmüyor. Tüm kaynaklar bağımsız ise neden üçünü de çarpmak mümkün değildir? Yeni bilgiler aldıkça önceliğini güncellemenin bazı Bayesian yolu var mı?

Not: Bu ev ödevi değil, düşündüğüm bir şey.


1
Bağımsız kaynakların ne kadar güvenilir olduğunu biliyor musunuz
Dilip Sarwate

Hayır, bir priori, tüm kaynakların eşit derecede güvenilir olduğunu varsayardım.
Biela Diela

3
Bu benim de düşündüğüm güzel bir soru. İkinci soruyu ekleyeceğim: Bütün tahminler 0.75 olsaydı, birleştirilmiş olasılık ne olurdu? 0,75'den yüksek? Bu tür soruları analiz etmek için resmi bir çerçeve ne olabilir?
Karsten W.

2
Gerçekten yeterli bilgi yok; Tahminlerin gerçeklikle nasıl ilişkili olacağına dair bir modele ihtiyacımız var.
Glen_b

Kaynaklar olasılıklar veya güven / güven düzeyleri ile ilgili ifadeler sunarken "tüm kaynaklar eşit derecede güvenilirdir" ile neyin kastedildiğinden emin değilim. Olasılıktan bahsediyorsak, kavramsal problemleri ortaya çıkaran görünen bir olasılık-o-kesin-belli-değer-verilmiş bir değerdir. BTW, eğer 1 ve 2 kaynakları eşit derecede güvenilir ise, her ikisi de 0,50 ... olasılıkla doğru olmalı (ve yağmur olasılığı 1/2 olmalıdır).
AG

Yanıtlar:


32

Üç şey hakkında sorular soruyorsunuz: (a) tekli tahminler almak için birkaç tahminin nasıl birleştirileceği, (b) Bayesian yaklaşımı burada kullanılıyorsa ve (c) sıfır olasılıklarla nasıl başa çıkılacağı.

Tahminleri birleştirmek, yaygın bir uygulamadır . Eğer bu tahminlerin ortalamasını almaktan çok daha fazla tahmininiz varsa, ortaya çıkan birleştirilmiş tahmin, tahminlerden herhangi birine göre doğruluk açısından daha iyi olmalıdır. Bunları ortalamalandırmak için ağırlıkların ters hatalara (yani kesinliğe) veya bilgi içeriğine dayandığı ağırlıklı ortalamaları kullanabilirsiniz . Her kaynağın güvenilirliği hakkında bilginiz varsa, her kaynağın güvenilirliği ile orantılı olan ağırlıklar atayabilirsiniz, böylece daha güvenilir kaynakların nihai birleşik tahmin üzerinde daha büyük etkisi olur. Sizin durumunuzda güvenilirliği hakkında herhangi bir bilgiye sahip değilsiniz, böylece tahminlerin her biri aynı ağırlığa sahiptir ve böylece üç tahminin basit aritmetik ortalamasını kullanabilirsiniz.

0%×.33+50%×.33+100%×.33=(0%+50%+100%)/3=50%

@AndyW ve @ArthurB tarafından yorumlarda önerildiği gibi . basit ağırlıklı ortalamaların yanında başka yöntemler de mevcuttur. Literatürde, daha önce aşina olmadığım ortalama uzman tahminleri hakkında bu tür pek çok yöntem açıklanmaktadır, bu nedenle teşekkürler. Ortalama uzman tahminlerinde bazen uzmanların ortalamaya doğru gerileme eğiliminde olduğu gerçeğini düzeltmek istiyoruz (Baron ve diğerleri, 2013) veya tahminlerini daha aşırı hale getiriyor (Ariely ve diğerleri, 2000; Erev ve diğerleri, 1994). Bunu başarmak için bireysel tahmin dönüşümlerini kullanabilirsiniz , örneğin logit fonksiyonupi

(1)logit(pi)=log(pi1pi)

için oran -inci güça

(2)g(pben)=(pben1-pben)bir

buradaki veya daha genel form dönüşümü0<bir<1

(3)t(pben)=pbenbirpbenbir+(1-pben)bir

eğer dönüşüm uygulanmıyorsa, bireysel tahminler daha aşırı yapılırsa, tahminleri daha az aşırı yapılırsa, aşağıdaki resimde gösterilmektedir (bkz. Karmarkar, 1978; Baron et al, 2013). ).a > 1 0 < a < 1bir=1bir>10<bir<1

görüntü tanımını buraya girin

Bu tür bir dönüşümden sonra tahminlerin ortalaması alınır (aritmetik ortalama, medyan, ağırlıklı ortalama veya başka bir yöntem kullanılarak). Eğer denklemler (1) veya (2) kullanılmışsa, sonuçların (1) için ters logit ve (2) için ters oranlar kullanılarak geri dönüştürülmesi gerekir . Alternatif olarak, geometrik ortalama kullanılabilir (bakınız Genest ve Zidek, 1986; cf. Dietrich and List, 2014).

(4)p^=Πben=1N-pbenwbenΠben=1N-pbenwben+Πben=1N-(1-pben)wben

veya Satopää ve arkadaşları tarafından önerilen yaklaşım (2014)

(5)p^=[Πben=1N-(pben1-pben)wben]bir1+[Πben=1N-(pben1-pben)wben]bir

burada ağırlıktır. Çoğu durumda, eşit ağırlıkta , başka bir seçenek öneren önceden belirlenmiş bir bilgi olmadığı sürece kullanılır . Bu yöntemler, ortalama uzman tahminlerinde yetersiz veya fazla güvenilimi düzeltmek için kullanılır. Diğer durumlarda, tahminlerin daha fazla veya daha az aşırıya dönüştürülmesinin haklı olup olmadığını düşünmelisiniz, çünkü sonuçta elde edilen toplam tahminin, en düşük ve en büyük bireysel tahminde belirtilen sınırların dışına çıkmasına neden olabilir.wbenwi=1/N-

Eğer varsa önsel yağmur olasılığı hakkında bilgi size verilen tahminleri güncellemek için Bayes teoremini uygulayabilir önsel yağmur olasılığını burada anlatıldığı gibi benzer bir şekilde . Uygulanabilecek basit bir yaklaşım da vardır, yani tahminlerinizin ağırlıklı ortalamasını hesaplayın (yukarıda açıklandığı gibi), önceki olasılık , bu IMDB örneğinde olduğu gibi önceden belirlenmiş bir ağırlıkta ile ek veri noktası olarak ele alındı ( ayrıca bkz. kaynak veya tartışma için burada ve burada ; bkz. Genest ve Schervish, 1985), yanipiπwπ

(6)p^=(i=1Npiwi)+πwπ(i=1Nwi)+wπ

Bununla birlikte, sorunuzdan , probleminizle ilgili herhangi bir priori bilgisine sahip olduğunuzu takip etmiyorsunuzdur, bu nedenle muhtemelen önceden üniforma kullanacaksınız, yani priori yağmur ihtimali varsayalım ve bu, sağladığınız bir örnek olması durumunda çok fazla değişmez. .50%

Sıfırlarla uğraşmak için, birkaç farklı yaklaşım mümkündür. İlk önce yağmur yağma ihtimalinin gerçekten güvenilir bir değer olmadığını fark etmelisiniz , çünkü yağmur yağmasının imkansız olduğunu söyler . Doğal dil işlemede, benzer veriler, genellikle verilerinizde oluşabilecek bazı değerleri gözlemlemediğiniz zaman ortaya çıkar (örneğin, harflerin sıklığını sayıyorsunuz ve verilerinizde nadir görülen bazı harfler hiç oluşmuyor). Bu durumda olasılık için klasik tahmin edici, yani0%

pi=niini

burada geçtiği bir sayıdır (takım inci değeri kategoriler) kullanarak, verir halinde . Buna sıfır frekans sorunu denir . Bu tür değerler için olasılıklarının sıfır olmadığını (varlar!) Biliyorsunuz , bu nedenle bu tahmin açıkça yanlıştır. Ayrıca pratik bir endişe de var: sıfırlarla çarpma ve bölme, sıfırlara veya tanımsız sonuçlara yol açar, bu nedenle sıfırlarla başa çıkmada sorunludur. i d p i = 0 n i = 0niidpi=0ni=0

Kolay ve yaygın olarak uygulanan düzeltme, sayınıza sabit bir eklemek , böyleceβ

pi=ni+β(ini)+dβ

Ortak bir seçim olan , yani önceden göre üniform uygulayarak Laplace arkaya üstünlüğü , Kriçevski-Trofımov tahmin için, ya da Schurmann-Grassberger (1996) için tahmincisi. Bununla birlikte, burada yaptığınız şeyin modelinizde veri dışı (önceki) bilgileri uyguladığınıza dikkat edin, bu nedenle öznel, Bayesian tadı alır. Bu yaklaşımı kullanarak yaptığınız varsayımları hatırlamanız ve dikkate almanız gerekir. Verilerimizde hiçbir sıfır olasılık olmaması gerektiğine dair önceden güçlü bir bilgiye sahip olduğumuz gerçeği, buradaki Bayesci yaklaşımı doğrudan doğrular. Sizin durumunuzda frekanslarınız değil, olasılıklarınız var, o yüzden bazı eklersiniz.β11/21/dsıfırları düzeltmek için çok küçük bir değer. Bununla birlikte, bazı durumlarda bu yaklaşımın kötü sonuçları olabileceğine dikkat edin (örn . Kütüklerle uğraşırken ), bu nedenle dikkatli kullanılmalıdır.


Schurmann, T. ve P. Grassberger. (1996). Sembol dizilerinin entropi kestirimi. Kaos, 6, 41-427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS ve Zauberman, G. (2000). Ortalama sübjektif olasılık tahminlerinin hakimler arasında ve içindeki tahminler. Deneysel Psikoloji Dergisi: Uygulamalı, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. ve Ungar, LH (2014). Toplam olasılığı tahmin etmenin iki nedeni daha aşırı tahminler yapmaktır. Karar Analizi, 11 (2), 133-145.

Erev, I., Wallsten, TS ve Budescu, DV (1994). Eşzamanlı ve aşırı güvenirlik: Yargılama süreçlerinde hatanın rolü. Psikolojik inceleme, 101 (3), 519.

Karmarkar, ABD (1978). Öznel ağırlıklı fayda: Beklenen fayda modelinin açıklayıcı bir uzantısı. Örgütsel davranış ve insan performansı, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV ve Wallsten, TS (2014). Yeniden kalibrasyon yoluyla tahmin toplama. Makine öğrenmesi, 95 (3), 261-289.

Genest, C. ve Zidek, JV (1986). Olasılık dağılımlarını birleştirmek: bir eleştiri ve açıklamalı bir kaynakça. İstatistiksel Bilim, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE ve Ungar, LH (2014). Basit bir logit model kullanarak çoklu olasılık tahminlerini birleştirmek. Uluslararası Tahmini Dergisi, 30 (2), 344-356.

Genest, C. ve Schervish, MJ (1985). Bayesian güncellemesi için uzman kararlarının modellenmesi. İstatistiklerin Annals , 1198-1212.

Dietrich, F. ve List, C. (2014). Olasılıklı Düşünme Havuzu. (Yayınlanmamış)


2
Yeni bir cevap başlatmak yerine buna eklemek istedim. İyi bilinen bir başka yöntem, üç (veya N) olasılığı, geometrik ortalamalarını alarak (aritmetik ortalamalarından ziyade) birleştirmektir. Hinton, bunun, bazen size karşı çalışabilecek her şeyin ortalamasını almak yerine, diğerleri arasında 'veto' gücü olan yüksek veya düşük olasılıklı bir model verdiğine işaret eder.
Zhubarb

Öyleyse, üç tahmin% 75 olsaydı ve güvenilirlikleri hakkında bilgi mevcut değilse, nihai tahmin% 75 olurdu?
Karsten W.

@KarstenW. evet, neden farklı bir şey bekliyorsun? Önceden bir bilginiz yoksa, sahip olduğunuz tek bilgi bu değil, bu yüzden nihai sonucun farklı olduğunu düşünmeniz için hiçbir nedeniniz yok ...
Tim

1
Tetlock'un akademik makalelerinin hiçbirini okumamıştım, ancak oradan başlarım. Mesela iki Nedenleri Toplanmış Olasılık tahminler daha Extreme'yi Yapmak . Phil'in tam ifadesini arayacağım , aşırı sözcük kelimesini yanlış hatırlıyor olabilirim .
Andy W,

1
Beraber yakındı extremified ama tam değil. Kullanmış gerekirdi extremized , bkz burada . Baron ve ark. Makalede, Ville Satopää’nin arxiv.org/abs/1506.06405 konuyla ilgili bazı çalışmaları olduğunu gördüm .
Andy W,

6

Sorunu düşünmenin iki yolu var. Birincisi, kaynakların gizli değişkenin "yağmur yağacak / yağmayacak" gürültülü bir versiyonunu gözlemlediğini söylemek.

Örneğin, her kaynağın tahminlerini yağmur dağılımından ve dağılımından çekip çıkarmayacağını söyleyebiliriz.Beta(a+b,a)Beta(a,a+b)

Bu durumda, parametre düşer ve üç tahmin, , ve olarak birleştiriliraxyz

p=11+(1x1)b(1y1)b(1z1)b

b , ( ) altında veya üzerinde ( ) kaynakların ne kadar güvende olduğunu kontrol eden bir parametredir . Kaynak tahminlerinin tarafsız olduğunu varsayarsak, ve tahmin şu şekilde basitleşir:b>1b<1b=1

p1-p=x1-xy1-yz1-z

Sadece şunu söylüyor: Yağmur ihtimali, her bir kaynağın verdiği olasılıkların ürünüdür. Bir kaynağın tam olarak tahminini verirken, diğerinin tam olarak tahminini vermesi iyi tanımlanmadığını unutmayın , ancak bizim modelimizde bu asla olmaz, kaynaklar asla o kadar güvende olmaz. Elbette, bunun olmasına izin vermek için modeli yamalayabiliriz.10

Bu model, dün yağmur yağıp yağmadığını size söyleyen üç kişiyi düşünüyorsanız daha iyi çalışır. Uygulamada, hava koşullarında indirgenemez rastgele bir bileşen olduğunu biliyoruz ve bu nedenle doğanın ilk önce, kaynaklar tarafından gürültülü bir şekilde gözlenen yağmur olasılığını aldığını ve daha sonra karar vermesi için önyargılı bir yazı tura attığını varsaymak daha iyi olabilir. ya da yağmur yağmayacak.

Bu durumda, birleştirilmiş tahmin, farklı tahminler arasındaki ortalamaya çok benzeyecektir.


Bu modelde x, y, z ne olurdu?
Karsten W.

Üç farklı tahmin olurdu.
Arthur B.

x=y=z=34p=2728342728

3/4'ten 27/28'e çıkmak biraz aşırı, sanki üç kişi size gökyüzünün koyu mavi olduğunu söylüyor ve siyah olduğuna karar verdiniz ...
Tim

Bu modele bağlıdır. Burada her kaynağın gizli bir ikili değişkende, yağmurda veya yağmurda gürültülü bir görüş olduğunu varsayalım. Daha çok üç farklı insanın dün yağmur yağdığını söylediği gibi. Ayrıca, sistemi gizli bir yağmur olasılığı ve tahmin kaynaklarının bu gürültünün gürültülü bir versiyonunu elde ettiği şekilde modelleyebilirsiniz.
Arthur B.

3

Aktarılabilir İnanç Modeli (TBM) çerçevesinde, örneğin “birleşik birleşim kuralı” kullanarak farklı tahminleri birleştirmek mümkündür. Bu kuralı uygulamak için, tahminlerin olasılıklarını temel inanç ödevlerine dönüştürmeniz gerekir. Bu, En Az Kararlı İlke olarak adlandırılabilir. R'de:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

0.75 olan üç bağımsız tahmininin ikinci örneği için, bu yaklaşım daha yüksek bir değer verir:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Bu Arthur B'nin cevabında gösterilen Bayesçi yaklaşımdan çok uzak değil.


2

w1=σ22σ32σ12σ22+σ12σ32+σ22σ32, w2=σ12σ32σ12σ22+σ12σ32+σ22σ32, w3=σ12σ22σ12σ22+σ12σ32+σ22σ32.

13

σiσ12:σ22:σ32=1:2:4,

f=814(0)+414(1)+214(0.5)=0.3571

1

Yağmur olasılığı için sayıları hikayenin sadece yarısıdır, tahminlerini tahmin ederken doğru olma ihtimalleri ile temellendirmemiz gerekirdi.

Çünkü yağmur gibi bir şey birbirinden ayrıdır (ya yağmur yağıyor ya da değil, bu kurulumda), hepsi Karsten'in önerdiği gibi% 75 olasılıkla aynı anda doğru olamazlar (sanırım, kargaşayla ne anlama geldiğini duyduğumu söylemek zor. "birleştirilmiş olasılık" bulmak için.

Hava durumunu tahmin etme konusundaki bireysel yeteneklerini göz önüne alarak, yarın yağmur şansının ne olduğunu saptayabiliriz (karanlıkta genel olarak kör bir vuruşta olduğu gibi bir Thomas Bayes).

İstasyon 1, tahminlerin zamanın% 60'ını, ikinci zamanın% 30'unu ve son istasyon ise zamanın% 10'unu zayıf olarak verir.

E [yağmur] = Px X + Py Y + Pz * Z burada aradığımız biçimdir:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [yağmur] = öngörülen doğruluk oranı ile% 35 yağmur ihtimali.


1
Bu algoritma 1'in üzerindeki değerleri üretebilir.
Andy W

1

Bu soruya verilen çok sayıda karmaşık cevap var, fakat Ters Varyans Ağırlıklı Ortalamanın ne olduğu: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Deneyci n farklı ölçüm kalitesiyle n farklı cihazlarla n aynı miktarda yaparsa, tek bir cihazla n tekrarlanan ölçümler yerine ...

Her rastgele değişken, varyansıyla ters orantılı olarak ağırlıklandırılır.

Ters varyans ağırlıklı ortalama hesaplamak için çok basit görünüyor ve bir bonus olarak tüm ağırlıklı ortalamalar arasında en düşük varyansa sahip.


-1

Güvenilirliği birleştirmek için go-to formülüm r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3), yani 3 güvenilirlik kaynağı için% 75 aynı şeyi söyler: .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => birleştirilmiş yanıtın% 96 güvenilirliği


1
Bu soruya uygun bir cevap gibi görünmüyor.
Michael R. Chernick

Kuşkusuz, bu KarstenW yorumlarına doğrudan bir cevaptan çok bir cevaptı.
user3902302
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.