Beta dağılımının ardındaki sezgi nedir?

Feragatname: Ben istatistikçi değil yazılım mühendisiyim. İstatistik konusundaki bilgilerimin çoğu öz-eğitimden geliyor, bu yüzden burada diğer insanlar için önemsiz görünebilecek kavramları anlamada hala birçok boşluk var. Bu yüzden cevaplar daha az spesifik terimler ve daha fazla açıklama içeriyorsa çok teşekkür ederim. Büyükannenle konuştuğunu hayal et :)

Ben kavramaya çalışıyorum doğayı ait beta dağılımı nasıl her durumda onu yorumlamak ne için kullanılması gerektiğini ve -. Normal dağılımdan bahsediyorsak, bir trenin varış zamanı olarak tanımlanabilir: en sık sık tam zamanında gelir, biraz daha az sıklıkta 1 dakika erken ya da 1 dakika geç kalır ve çok nadiren fark edilir Ortalamadan 20 dakika. Düzgün dağılım, özellikle, her bir biletin piyangodaki şansını açıklar. Binom dağılımı, yazı turaları vb. İle açıklanabilir. Ama böyle olduğu sezgisel açıklama ait beta dağılımı ?

Diyelim ki, ve . Bu durumda dağılımı şuna benzer: (R cinsinden):$\alpha=.99$$\beta=.5$$B(\alpha, \beta)$

Fakat bu aslında ne anlama geliyor? Y ekseni açıkça bir olasılık yoğunluğu, fakat X ekseninde ne var?

Bu örnekle veya başka herhangi bir açıklamada çok teşekkür ederim.

Kısa versiyon, Beta dağılımının bir olasılık dağılımını temsil ettiği şeklinde anlaşılabilir - yani, o olasılığın ne olduğunu bilmediğimizde, olasılıkın tüm olası değerlerini temsil eder. İşte bu benim en sevdiğim sezgisel açıklamam:

Beyzbolu takip eden herkes vuruş ortalamalarına aşinadır - sadece bir oyuncunun kaç kez vuruş yapıp vuruşunu yaptığı bir vuruş yapması yeterlidir (bu yüzden 0ve arasında sadece bir yüzde 1). .266genel olarak ortalama bir vuruş ortalaması .300olarak kabul edilirken , mükemmel bir tane olarak kabul edilir.

Bir beyzbol oyuncumuz olduğunu ve sezon boyunca vuruş ortalamasının ne olacağını tahmin etmek istediğimizi hayal edin. Şu ana kadar vuruş ortalamasını kullanabileceğimizi söyleyebilirsiniz - ancak bu, sezon başlangıcında çok zayıf bir önlem olacak! Bir oyuncu bir kez vuruş 1.000yapıp bekar alırsa, vuruş ortalaması kısaca , eğer vurursa, vuruş ortalaması 0.000. Beş ya da altı kez atış yapıp gitmemeniz daha iyi olmaz - şanslı bir çizgi elde edersiniz ve ortalama 1.000, ya da şanssız bir çizgi çekebilir ve bunların ne kadarının 0uzaktan iyi bir tahmin edebileceği bir ortalama elde edemezsiniz. o sezon vuracaksın.

Neden ilk birkaç vuruşta vuruş ortalamanız nihai vuruş ortalamanızın iyi bir göstergesi değil? Bir oyuncunun ilk vuruşunu grevdeyken, neden kimse tüm sezon boyunca hiç vuruş yapmayacağını tahmin etmiyor? Çünkü önceden beklentilerle giriyoruz . Tarihte, bir sezondaki çoğu vuruş ortalamasının , her iki tarafta da nadir görülen bazı istisnalar dışında .215ve gibi şeyler arasında geçtiğini biliyoruz .360. Bir oyuncunun başlangıçta arka arkaya birkaç vuruş yapması durumunda, bunun ortalamadan biraz daha kötü olacağını gösterebileceğini biliyoruz, ancak muhtemelen o aralıktan sapmayacağını biliyoruz.

Bir ile temsil edilebilir bizim averaj problemi göz önüne alındığında binom dağılımı (başarı ve başarısızlıkların bir dizi), (biz istatistikte sadece dediğimiz Bu önceki beklentileri temsil etmenin en iyi yolu önce ), söylediğini distribution- Beta ile olan Oyuncunun ilk vuruşunu yaptığını görmeden önce, vuruş vuruşunun kabaca ortalamasını beklemekteyiz. Beta dağılımının alanı (0, 1)tıpkı bir olasılık gibi, bu yüzden zaten doğru yolda olduğumuzu biliyoruz - ancak Beta'nın bu görev için uygunluğu bunun ötesine geçiyor.

Oyuncunun sezonluk vuruş ortalamalarının büyük olasılıkla olacağını .27ancak makul bir .21seviyeye kadar değişebileceğini umuyoruz .35. Bu, ve parametreleriyle bir Beta dağılımı ile gösterilebilir :β = $\alpha=81$$\beta=219$

curve(dbeta(x, 81, 219))

İki nedenden dolayı bu parametreleri buldum:

• Ortalama:$\frac{\alpha}{\alpha+\beta}=\frac{81}{81+219}=.270$
• Arsada gördüğünüz gibi, bu dağılım neredeyse tamamen içindedir (.2, .35)- vuruş ortalamaları için makul aralık.

X ekseninin bir beta dağılım yoğunluğu grafiğinde neyi temsil ettiğini sordunuz - burada vuruş ortalamasını temsil ediyor. Bu nedenle, bu durumda, sadece y ekseni değil bir olasılık (veya daha kesin olarak bir olasılık yoğunluğu) değil, x ekseninin de iyi olduğunu (vuruş ortalaması, sonuçta bir vuruş olasılığıdır)! Beta dağılımı bir olasılık dağılımını temsil etmektedir olasılıklar .

Fakat işte Beta dağılımının bu kadar uygun olmasının nedeni. Oyuncunun tek bir vuruş yaptığını hayal edin. Sezon için rekoru şimdi 1 hit; 1 at bat. O zaman olasılıklarımızı güncellemeliyiz - bu yeni eğrimizi yansıtmak için tüm eğriyi biraz değiştirmek istiyoruz. Bunu ispatlamanın matematiği biraz dahil olmakla birlikte ( burada gösteriliyor ), sonuç çok basit . Yeni Beta dağıtımı:

$\mbox{Beta}(\alpha_0+\mbox{hits}, \beta_0+\mbox{misses})$

ve nerede başladığımız parametreler, yani 81 ve . Bu durumda, 1 arttı (bir vuruş), hiç artmadı (henüz özlem yok) ). Bu, yeni dağıtımımızın veya:β 0 α β Beta ( 81 + 1 , 219 $\alpha_0$$\beta_0$$\alpha$$\beta$$\mbox{Beta}(81+1, 219)$

curve(dbeta(x, 82, 219))

Neredeyse hiç değişmediğine dikkat edin - değişiklik gerçekten çıplak gözle görünmez! (Çünkü bir vuruş gerçekten bir şey ifade etmiyor).

Bununla birlikte, oyuncu sezon boyunca ne kadar fazla vuruş yaparsa, eğri o kadar fazla kanıtı barındıracak şekilde kaydırılır ve daha fazla kanıtımız olduğu gerçeğine bağlı olarak daha fazla daralır. Diyelim ki sezonun yarısında 300 kez yarasa geçirdi, bu zamanların 100'ünü vurdu. Yeni dağıtım veya:$\mbox{Beta}(81+100, 219+200)$

curve(dbeta(x, 81+100, 219+200))

Eğrinin artık hem daha ince hem de sağa kaydığına dikkat edin (daha yüksek vuruş ortalaması) eskiden olduğundan daha iyi - oyuncunun vuruş ortalamasının ne olduğunu daha iyi anlıyoruz.

Bu formülün en ilgi çekici çıktılarından biri, temelde yeni tahmininiz olan, elde edilen Beta dağılımının beklenen değeridir. Beta dağılımının beklenen değerinin olduğunu hatırlayın . Bu durumda, 300, 100 hit sonra gerçek en-sopaları, yeni beta dağılımı beklenen değer - bu naif tahminden daha düşük olduğunu fark ve , ancak tahmin daha yüksekse (sezonu ait 81+$\frac{\alpha}{\alpha+\beta}$$\frac{81+100}{81+100+219+200}=.303$$\frac{100}{100+200}=.333$$\frac{81}{81+219}=.270$). Bu formülün bir oyuncunun isabet sayısı ve isabetsiz sayılarına bir "kafa başlangıcı" eklemekle eşdeğer olduğunu fark edebilirsiniz - "sezonda 81 isabet ve 219 isabetsiz vuruşla başla" ).

Böylece, Beta dağılımı olasılık dağılımını temsil etmek için en iyisidir olasılıkların - bir olasılık önceden ne olduğunu bilmiyorum durumda, ancak bazı makul tahmin var.

Bir Beta dağılımı , 0 ila 1 gibi sınırlı bir aralıktaki şeyleri modellemek için kullanılır.

Örnekler, bir denemede başarı ve başarısızlık gibi sadece iki sonuca sahip olma olasılığıdır. Sınırlı sayıda deneme yaparsanız ve bazıları başarılı olursa, size bir beta dağıtımı ile neyin anlattığını temsil edebilirsiniz.

Başka bir örnek sipariş istatistikleridir . Örneğin, birden fazla (4 diyor) tekdüze 0,1 rasgele sayı üretip bunları sıralarsanız, 3. sıranın dağılımı nedir?

$n$$s$$s>1$$Beta(s+1, (n-s)+1)$

Bu konuda daha fazla ...

$(0,1)$

$U_1$$\ldots$$U_n$$n$$(0,1)$$U_{(1)}$$\ldots$$U_{(n)}$$(U_1, \ldots, U_n)$$U_1$$\ldots$$U_n$U ( n ) = en fazla ( U i ) U ( k ) ∼ Beta ( k , n + 1 - k ) k = 1 , … , $U_{(1)}=\min(U_i)$$U_{(n)}=\max(U_i)$$U_{(k)} \sim \textrm{Beta}(k, n+1-k)$$k=1,\ldots,n$

Bu sonuç, Beta dağılımlarının doğal olarak matematikte göründüğünü ve matematikte bazı ilginç uygulamalara sahip olduğunu göstermektedir.

İki temel motivasyon vardır:

İlk olarak, beta dağılımı Bernoulli dağılımından önce konjugattır. Bunun anlamı, tekrarlanan jeton çevirileriyle tahmin ettiğiniz bir madalyonun önyargısı gibi bilinmeyen bir olasılığınız varsa, o zaman bir jeton fişi dizisi tarafından bilinmeyen önyargıya bağlı olma olasılığının beta-dağıtılmış olmasıdır.

İkincisi, beta dağılımının üstel bir aile olmasının sonucu, bir dizi yeterli istatistik için maksimum entropi dağılımı olmasıdır. Beta dağıtımın durumda Bu istatistikler ve için de . Bu, eğer bir dizi örneği için bu yeterli istatistiklerin yalnızca ortalama ölçümünü tutarsanız, numunelerin dağılımı hakkında yapabileceğiniz minimum varsayımın beta dağıtılmış olduğu anlamına gelir.kütük ( $\log(x)$$\log(1-x)$$x$$[0,1]$$x_1, \dots, x_n$

Beta dağıtımı genellikle [0,1] üzerindeki şeyleri modellemek için özel değildir, çünkü birçok dağıtım bu desteğe kesilebilir ve birçok durumda daha uygulanabilir.

Bazı e-ticaret sitelerinde bir satıcıya, 400'ü iyi, 100'ü kötü olan 500 derece aldığını varsayalım.

Bunu, 500 uzunluğuna sahip Bernoulli deneyi, 400 başarıya (1 = iyi) götürürken, bunun altında yatan olasılık bilinmediği için yaptığımız bir deney olarak düşünüyoruz .$p$

Satıcının reytingleri bakımından saf kalite% 80'dir çünkü 0.8 = 400 / 500. Ancak reytingler açısından "gerçek" kalite bilmiyoruz.

Teorik olarak, in "gerçek" kalitesine sahip bir satıcı da 400 değerinde 500 oyla sonuçlanmış olabilir.$p=77\%$

Resimdeki sivri çubuk grafiği, verilen bir "doğru" varsayım için , 500 400'ün iyi olduğu bir simülasyonda ne sıklıkta gerçekleştiğini göstermektedir . Çubuk grafiği, simülasyon sonucunun histogramının yoğunluğudur.$p$

Ve görebileceğiniz gibi - ve (turuncu) için beta dağılımının yoğunluk eğrisi çubuk grafiğini sık sık çevreliyor (simülasyon için histogramın yoğunluğu).$\alpha=400+1$$\beta=100+1$

Yani beta dağılımı esasen Bernoulli denemenin başarı olasılığıdır ihtimalini ifade denemenin sonucunun verilen.$p$

library(ggplot2)

# 90% positive of 10 ratings
o1 <- 9
o0 <- 1
M <- 100
N <- 100000

m <- sapply(0:M/M,function(prob)rbinom(N,o1+o0,prob))
v <- colSums(m==o1)
df_sim1 <- data.frame(p=rep(0:M/M,v))
df_beta1 <- data.frame(p=0:M/M, y=dbeta(0:M/M,o1+1,o0+1))

# 80% positive of 500 ratings
o1 <- 400
o0 <- 100
M <- 100
N <- 100000

m <- sapply(0:M/M,function(prob)rbinom(N,o1+o0,prob))
v <- colSums(m==o1)
df_sim2 <- data.frame(p=rep(0:M/M,v))
df_beta2 <- data.frame(p=0:M/M, y=dbeta(0:M/M,o1+1,o0+1))

ggplot(data=df_sim1,aes(p)) +
    scale_x_continuous(breaks=0:10/10) +

    geom_histogram(aes(y=..density..,fill=..density..),
        binwidth=0.01, origin=-.005, colour=I("gray")) +
    geom_line(data=df_beta1 ,aes(p,y),colour=I("red"),size=2,alpha=.5) +

    geom_histogram(data=df_sim2, aes(y=..density..,fill=..density..),
        binwidth=0.01, origin=-.005, colour=I("gray")) +
    geom_line(data=df_beta2,aes(p,y),colour=I("orange"),size=2,alpha=.5)

http://www.joyofdata.de/blog/an-intuitive-interpretation-of-the-beta-distribution/

Şimdiye kadar cevapların üstünlüğü, örnek oranlar için bir öncek olarak üretilen Beta RV'lerinin gerekçesini kapsıyordu ve akıllı bir cevabın istatistik siparişi için Beta RV'leri ile ilgisi vardı.

Beta dağılımları ayrıca iki Gamma (k_i, 1) RVs, i = 1,2 olarak adlandırılan X ve Y arasındaki basit bir ilişkiden kaynaklanır. X / (X + Y) bir Beta dağılımına sahiptir.

Gamma RV'leri bağımsız etkinlikler için varış zamanlarını modellemede kendi mantığına zaten sahipler, bu yüzden sizin sorunuz olmadığı için bunu ele almayacağım. Ancak sırayla gerçekleştirilen iki görevden birini tamamlamak için harcanan "zamanın bir kısmı" doğal olarak bir Beta dağılımına yol açar.

Sezgim, " " başarısının şu anki oranını ve " " başarısızlık oranını "tartıştığını" söylüyor : . Sabitin . başarıdır katkılarından dolayı bir "ağırlık" gibidir. başarısızlığı katkılarından dolayı bir "ağırlık" gibidir. Düşünmeniz ve anlamanız zorlaşan iki boyutlu bir parametre alanınız var (biri başarı katkısı için diğeri de başarısızlık katkısı için).( 1 - x ) f ( x ; α , β ) = sabit ⋅ x α - 1 ( 1 - x ) β - 1 1 / B ( α , β ) $x$$(1-x)$$f(x;\alpha,\beta) = \text{constant}\cdot x^{\alpha-1}(1-x)^{\beta-1}$$1/B(\alpha,\beta)$$\alpha$$\beta$

Alıntılanan örnekte, parametreler önceki yıla göre alfa = 81 ve beta = 219'dur [81 yarasalarda 300 çarptı ya da (81 ve 300 - 81 = 219)]

81 isabet ve 219 çıkışın önceki varsayımına ne dediklerini bilmiyorum ama İngilizce, bu ilkel bir varsayım.

Mevsim ilerledikçe, eğri sola veya sağa kayar ve modal olasılık sola veya sağa kayar ancak yine de bir eğri vardır.

Acaba Büyük Rakamların Laa'sının tutup tutmayacağını ve vuruş ortalamasını tekrar.

Genel olarak alfa ve beta miktarını tahmin etmek için, bir önceki olayların (yarasalardaki) tam sayısı, bilinen ortalama vuruş sayısı, toplam isabetleri (alfa), beta veya genel toplam eksi başarısızlıkları) ve işte elde eder. Formülün var. Ardından, ek verileri gösterildiği gibi çalıştırın.

Partikül büyüklüğü dağılımı ile çalışırken beta dağılımı çok faydalıdır. Tahıl dağılımını modellemek istediğinizde durum bu değildir; bu durumda sağa bağlı olmayan Tanh dağılımı kullanmak daha iyidir. $F(X) = \tanh ((x/p)^n)$

Bu arada, mikroskobik bir gözlemden bir boyut dağılımı üretiyorsanız ve sayı olarak bir parçacık dağılımınız varsa ve amacınız bir hacim dağılımı ile çalışmak mı? Orijinal dağıtımın sağa bağlı sayıyla elde edilmesi neredeyse zorunludur. Dolayısıyla, dönüşüm daha tutarlıdır, çünkü yeni ses dağıtımında, çalıştığınız aralığın dışında medyan veya orta büyüklükte hiçbir mod görünmediğinden eminiz. Ayrıca, Grönland Afrika etkisinden uzak duruyorsun.

Düzenli şekillere, yani bir küreye veya bir prizmaya sahipseniz, dönüşüm çok kolaydır. Beta dağılımının alfa parametresine üç birim eklemeniz ve hacim dağılımını almanız gerekir.

Beta dağıtımının arkasında NO sezgisi olmadığını düşünüyorum! Beta dağıtımı, FIX ürün yelpazesi ile sadece çok esnek bir dağıtımdır! Ve a ve b tamsayıları için uğraşması bile kolaydır. Ayrıca betaların birçok özel durumu, tek biçimli dağılım gibi kendi doğal anlamlarına sahiptir. Eğer verilerin bu şekilde modellenmesi gerekiyorsa veya biraz daha fazla esneklikte ise, beta çok iyi bir seçimdir.

Gelen başka bir soru beta arkasında şu sezgi sağlanır beta dağılımı ile ilgili:

Başka bir deyişle, beta dağılımı, titreşimli dağılımın merkezinde olasılık dağılımı olarak görülebilir.

Ayrıntılar için lütfen tam yanıtı https://stats.stackexchange.com/a/429754/142758 adresinden kontrol edin.