“Olabilirlik” ve “olasılık” arasındaki fark nedir?

Wikipedia sayfası olabilirlik ve olasılık ayrı kavramlar olduğunu iddia ediyor.

Teknik olmayan bakışta, "olasılık" genellikle "olasılık" ile eşanlamlıdır, ancak istatistiksel kullanımda perspektifte açık bir ayrım vardır: bazı parametre değerleri verilen gözlenen sonuçların olasılığı olan sayı, parametre değeri olarak kabul edilir. gözlenen sonuçları verilen parametre değerleri setinin olasılığı.

Birisi bunun ne anlama geldiğine dair daha detaylı bir açıklama yapabilir mi? Ek olarak, “olasılık” ve “olabilirlik” in nasıl anlaşamadığına dair bazı örnekler iyi olurdu.

Cevap, kesikli mi yoksa sürekli rastgele değişkenlerle mi uğraştığınıza bağlı. Böylece cevabımı buna göre böleceğim. Bazı teknik detaylar istediğinizi ve tam anlamıyla İngilizce bir açıklama gerektirmediğini farz edeceğim.

Ayrık Rastgele Değişkenler

Kesikli değerlere sahip olan stokastik bir sürecin olduğunu varsayalım (örneğin, bir madalyonun 10 kez atılmasının sonuçları, 10 dakikada bir mağazaya ulaşan müşteri sayısı vb.). Bu gibi durumlarda, altta yatan stokastik süreç hakkında uygun varsayımlar yaparak belirli bir sonuç kümesini gözlemleme olasılığını hesaplayabiliriz (örneğin, para iniş kafalarının olasılığı ve bozuk para fırlatmalarının bağımsız olması).$p$

Gözlemlenen sonuçları ve stokastik süreci olarak tanımlayan parametreler kümesi ile belirtin . Böylece, olasılıktan bahsettiğimizde yı hesaplamak istiyoruz . Başka bir deyişle, için belirli değerler verildiğinde , , sonuçları gözlemleme ihtimalimizdir .$O$$\theta$$P(O|\theta)$$\theta$$P(O|\theta)$$O$

Bununla birlikte, gerçek hayattaki bir stokastik süreci modellediğimizde, genellikle tanımıyoruz . Biz sadece gözlemliyoruz ve amaç o zaman gözlemlenen sonuçlar göz önüne alındığında makul bir seçim olacak olan için bir tahminde bulunmaktır . Biz bir değer verilir biliyoruz gözlemleme olasılığı olduğu . Böylece, 'doğal' tahmin süreci içinde bu değeri seçmektir biz aslında sadık kalacağına olasılığını maksimize edecek . Başka bir deyişle, aşağıdaki işlevi en üst düzeye çıkaran parametre değerlerini buluyoruz :$\theta$$O$$\theta$$O$$\theta$$O$$P(O|\theta)$$\theta$$O$$\theta$

$L(\theta|O) = P(O|\theta)$

$L(\theta|O)$ olabilirlik işlevi denir. Tanım gereği, olasılık fonksiyonunun gözlemlenen şartlandırıldığına ve bunun bilinmeyen parametrelerin bir fonksiyonu olduğuna dikkat edin .$O$$\theta$

Sürekli Rastgele Değişkenler

Sürekli durumda, durum bir önemli farkla benzerdir. Biz artık Gözlemlediğimiz olasılık bahsedebiliriz verilen çünkü sürekli durumda . Tekniklere girmeden, temel fikir aşağıdaki gibidir:$O$$\theta$$P(O|\theta) = 0$

Sonuçlarla ilişkili olasılık yoğunluk fonksiyonunu (pdf) olarak belirtin : . Bu nedenle, tahminimiz sürekli durumda verilen sonuçlar gözlendi aşağıdaki işlevi maksimize:$O$$f(O|\theta)$$\theta$$O$

$L(\theta|O) = f(O|\theta)$

Bu durumda, teknik olarak, gözlemlenen çıktılar ile bağlantılı PDF'yi maksimize ederken gözlemleme olasılığımızı en üst düzeye çıkartan parametre değerini bulduğumuzu iddia edemeyiz .$O$$O$

Bu, hemen hemen herkesin cevaplayacağı bir soru ve ben de tüm cevapların iyi olmasını bekliyorum. Ama sen bir matematikçisin Douglas, bu yüzden matematiksel bir cevap vereyim.

: İstatistiksel modeli iki farklı kavramsal varlıkları bağlanmaya sahip veri elemanları, $x$ (örneğin, bir vektör, bir alan olarak) bir dizi, ve olası nicel bir model veri davranışının. Modeller genellikle noktaları ile temsil edilmektedir $\theta$ sonlu boyutlu manifoldu, bir sınıra sahip manifold veya bir işlev alanı (ikinci bir "parametrik olmayan" sorunu olarak anılacaktır).

$x$ verileri , olası modellere $\theta$ , $\Lambda(x, \theta)$ işlevi aracılığıyla bağlanır . Herhangi bir için $\theta$ , $\Lambda(x, \theta)$ olasılığı (veya olasılık yoğunluk) olması amaçlanmıştır $x$ . Herhangi bir için, $x$ , diğer taraftan, $\Lambda(x, \theta)$ bir fonksiyonu olarak izlenebilir $\theta$ ve genellikle sürekli olarak ikinci türevlenebilir olarak bazı iyi özelliklere sahip olduğu varsayılır. Görüntüleme niyeti $\Lambda$Bu şekilde ve bu varsayımları çağırmak için arayarak duyurulur $\Lambda$ "olasılığı."

Diferansiyel bir denklemde değişkenler ve parametreler arasındaki ayrım gibidir: bazen çözümü araştırmak istiyoruz (yani değişkenleri argüman olarak ele alıyoruz) ve bazen çözümün parametrelerle nasıl değiştiğini incelemek istiyoruz. Ana ayrım, istatistiklerde her iki argüman grubunun eşzamanlı varyasyonunu incelemeye nadiren ihtiyaç duymamızdır; Doğal olarak veriler hem değişen gelen istatistiksel bir amacı yoktur $x$ ve model parametreleri $\theta$ . Bu yüzden bu ikilik hakkında analog matematiksel ayarlardan daha fazla şey duyuyorsunuz.

Açıklamamda matematiği minimize etmeye çalışacağım, çünkü zaten bazı matematiksel açıklamalar var.

Robin Girand'ın olasılık ve olasılık arasındaki farkın işaret ettiği gibi, olasılık ve istatistik arasındaki farkla yakından ilgilidir . Bir anlamda, olasılık ve istatistikler birbirleriyle zıt veya ters olan problemlerle ilgilidir.

Bir bozuk para atmayı düşünün. (Cevabım Wikipedia'daki Örnek 1'e benzeyecek .) Madalyonun adil olduğunu biliyorsak ( ) tipik bir olasılık sorusu şöyledir: Arka arkaya iki kafa alma olasılığı nedir. Cevap P ( H , H ) = p ( H ) x P ( lH ) = 0.5 x 0.5 = 0.25 .$p=0.5$$P(HH) = P(H)\times P(H) = 0.5\times0.5 = 0.25$

Tipik bir istatistiksel soru şudur: Madeni para adil midir? Buna cevap vermek için sormamız gerekir: Örneğimizde olduğu hipotezimizi ne derece destekliyoruz ?$P(H) = P(T) = 0.5$

Dikkat edilmesi gereken ilk nokta, sorunun yönünün tersine dönmüş olmasıdır. Olasılıkta varsayılan bir parametre ile başlıyoruz ( ) ve verilen bir örneğin olasılığını (arka arkaya iki kafa) tahmin ediyoruz . İstatistiklerde gözlemle başlıyoruz (üst üste iki kafa) ve parametremize INFERENCE yapıyoruz ( p = P ( H ) = 1 - P ( T ) = 1 - q ).$P(head)$$p = P(H) = 1- P(T) = 1 - q$

Vikipedi'deki Örnek 1 bize, bir satırdaki 2 kafadan sonra maksimum olasılık tahmininin p M L E = 1 olduğunu göstermektedir . Ancak veriler hiçbir şekilde p ( H ) = 0.5 gerçek parametre değerini dışlar ( şu anda ayrıntılarla kendimizi ilgilendirmeyelim). Gerçekten de, sadece çok küçük değerler p ( H ), ve özellikle de P ( H ) = 0 uygun sonra elimine edilebilir , n = $P(H)$$p_{MLE} = 1$$p(H) = 0.5$$p(H)$$p(H)=0$$n = 2$(madalyonun iki atış). Üçüncü atma kuyrukları geldikten sonra, şimdi (yani iki başlı bir madeni para değildir ) olasılığını ortadan kaldırabiliriz , ancak aradaki değerlerin çoğu veriler tarafından makul şekilde desteklenebilir . ( P ( H ) için kesin bir binom% 95 güven aralığı 0.094 ila 0.992'dir.$P(H) = 1.0$$p(H)$

100 jeton attıktan ve (örneğin) 70 kafadan sonra, madalyonun aslında adil olmadığı şüphesi için makul bir temelimiz var. üzerindeki tam% 95 CI şimdi 0.600 ila 0.787'dir ve p ( H ) = 0.5 verilen 100 atıştan 70 veya daha fazla başlık (veya kuyruk) kadar aşırı bir sonuç gözlemleme olasılığı 0.0000785'tir.$p(H)$$p(H) = 0.5$

Her ne kadar açıkça olasılık hesaplamaları kullanmamış olsam da, bu örnek olasılık kavramını yansıtıyor: Olabilirlik, bir parametrik modeldeki bir parametrenin belirli değerleri için bir numunenin ne kadar destek sağladığının bir ölçüsüdür .

Size Fisher ile ortaya çıkmış Olabilirlik Teorisi görüşünden bakış açısını vereceğim - ve belirtilen Wikipedia makalesinde istatistiksel tanımlamanın temeli.

Rasgele değişkenler olduğunu varsayalım parametreli bir dağılımı ortaya çıkar F ( x , θ ) , burada θ karakterize parametredir F . O zaman X = x olasılığı şöyle olacaktır: P ( X = x ) = F ( x ; θ ) , bilinen θ . $X$$F(X; \theta)$$\theta$$F$$X = x$$P(X = x) = F(x; \theta)$$\theta$

Daha sık, veri var ve θ bilinmemektedir. Varsayılan F modeli göz önüne alındığında, olasılık, gözlenen verilerin θ : L ( θ ) = P ( θ ; X = x ) fonksiyonu olarak olasılığı olarak tanımlanmaktadır . Not X biliniyor, ancak θ bilinmemektedir; Aslında olasılığın belirlenmesi için motivasyon dağılımın parametresini belirlemektir.$X$$\theta$$F$$\theta$$L(\theta) = P(\theta; X = x)$$X$$\theta$

Biz sadece olasılık fonksiyonunu yeniden yazdım gibi görünse de, bu önemli bir sonucu olabilirlik fonksiyonu yapmasıdır değil olasılık kanunlarına itaat (örneğin, [0, 1] aralığı bağlı değil). Bununla birlikte, olabilirlik işlevi, gözlemlenen verilerin olasılığı ile orantılıdır.

Bu olabilirlik kavramı aslında farklı bir düşünce okuluna yol açar, “olabilirlikçiler” (sık sık ve bayesyenlerden farklı) ve tüm çeşitli tarihsel tartışmaları araştırmak için google’a gidebilirsiniz. Temel köşe, temel olarak olasılık işlevinden doğrudan çıkarım yapabileceğimizi söyleyen Olabilirlik İlkesidir (ne Bayezyalılar ne de sık sıklar bunu olasılık temelli çıkarım olmadığı için kabul ederler). Bu günlerde, okullarda "sıkça" olarak öğretilenlerin çoğu aslında sıkça ve olasılıklı düşünmenin bir birleşimidir.

Daha derin bir bakış için, güzel bir başlangıç ​​ve tarihsel referans Edwards'ın Olabilirliği'dir . Modern bir yaklaşım için Richard Royall'ın harika monografisini, İstatistiksel Kanıtları: Bir Olabilirlik Paradigmasını öneriyorum .

Yukarıdaki tüm teknik cevaplar göz önüne alındığında, diline geri dönmeme izin verin: Olasılık, beklentiyi (sonucun), olasılıkın da güven (modelde) miktarını belirler.

Birinin bizi “karlı bir kumar oyununa” zorladığını düşünelim. Ardından, olasılıklar kazancınızın ve kaybınızın beklenen profili (ortalama, mod, medyan, varyans, bilgi oranı, riske maruz değer, kumarbazların mahvetmesi vb.) Gibi şeyleri hesaplamamız için bize hizmet edecektir. Buna karşılık, olasılık, ilk başta bu olasılıklara güvenip güvenmediğimizi ölçmemize yardımcı olacak; ya da 'fare kokusu mu'.

Bu arada - yukarıdakilerden biri istatistiklerin dinlerinden bahsettiğinden beri - Bayesian dünyasının yanı sıra sık sık olanın ayrılmaz bir parçası olma ihtimalinin olduğuna inanıyorum.

Eğer bir olasılık ile sikke olduğunu varsayalım $p$ başlarını karaya ve $(1-p)$ kuyrukları karaya. Let $x=1$ kafaları gösterir ve $x=0$ kuyrukları göstermektedir. Define $f$ aşağıdaki gibi

$f(x,2/3)$ belirli bir x olasılığıdır$p=2/3$ ,$f(1,p)$ olasılığıdır$p$ verilen$x=1$ . Temel olarak olabilirlik ve olasılık, hangi yoğunluk parametresinin değişken olarak kabul edildiğini gösterir.

Adil bir madeni param varsa (parametre değeri), o zaman ortaya çıkma olasılığı 0,5'tir. Bir madeni parayı 100 kez çevirirsem ve 52 kez gelirse, o zaman adil olma olasılığı yüksektir (potansiyel olarak birkaç form alabilme olasılığının sayısal değeri).

iki açıdan görülebilir:$P(x|\theta)$

• bir fonksiyonu olarak, bilinen / gözlendiği gibi θ muamele edilmesi . $x$$\theta$Eğer sonra rastgele bir değişken değil, P ( x | θ ) (denir parametreli ait) olasılık x model parametreleri verilen θ bazen olarak yazılır, P ( x ; θ ) veya P θ ( x ) . Eğer θ , Bayesian istatistiklerinde olduğu gibi rastgele bir değişkense, P ( x | θ ) bir$\theta$$P(x|\theta)$$x$$\theta$$P(x;\theta)$$P_{\theta}(x)$$\theta$$P(x|\theta)$koşullu olasılık, .${P(x\cap\theta)}/{P(\theta)}$
• Bir fonksiyonu olarak tedavisi, x görüldüğü gibi. $\theta$$x$Belirli bir atama bulmaya Örneğin, İçeride ISTV melerin RWMAIWi'nin için İçeride ISTV melerin RWMAIWi'nin en üst düzeye çıkardığını P ( x | θ ) , daha sonra P ( x | θ ) denir maksimum olabilirlik ait θ verilen veri x bazen yazılı, L ( θ | x ) . Yani, terim olabilirlik ihtimali başvurmak için sadece kısaltılmış halidir P ($\hat\theta$$\theta$$P(x|\theta)$$P(x|\hat\theta)$$\theta$$x$$\mathcal L(\hat\theta|x)$ bazı veri için x farklı değerler atama sonuçlanan İçeride ISTV melerin RWMAIWi'nin bir arama alanı geçer (örneğin İçeride ISTV melerin RWMAIWi'nin ) iyi çözümdür. Bu nedenle, genellikle nesnel bir işlev olarak kullanılır, aynı zamandaBayesian model karşılaştırmasındaolduğu gibi ikimodeli karşılaştırmakiçin bir performans ölçütü olarak kullanılır.$P(x|\theta)$$x$$\theta$$\theta$

Genelde, bu ifade hala her iki argümanının bir işlevidir, bu nedenle oldukça vurgulanır.

Endişeli olduğum kadarıyla, en önemli ayrım olasılığın bir olasılık ( ) olmadığıdır.$\theta$

Bir tahmin sorun, X verilir ve olabilirlik yerine X bir dağılımını tarif θ . Yani, ∫ P ( X | θ ) d θ olabilirlik bir pdf olmadığından, anlamsız İçeride ISTV melerin RWMAIWi'nin o karakterize etmez gerçi, θ bir ölçüde.$P(X|\theta)$$\theta$$\int P(X|\theta) d\theta$$\theta$$\theta$

FBI'ın kurbanlarını rastgele seçmiş gibi görünen bir seri suçlunun ev üssünü bulmaya çalıştığı "num3ers" dizisinin pilotunu biliyor musunuz?

FBI'ın matematiksel danışmanı ve görevli ajanın kardeşi, sorunu en yüksek olabilirlik yaklaşımıyla çözüyor. İlk, o bazı "Gugelhupf şeklindeki" varsayar olasılık $p(x|\theta)$ suçları konumların en gerçekleştiğini $x$ cezai yaşamları eğer konum olarak $\theta$ . (Gugelhupf varsayım ceza onun yakında suça ne de sonraki rastgele kurban seçmek için son derece uzak gidecek ne olduğudur.) bu model açıklar olasılıkları farklı için $x$ sabit verilen $\theta$ . Diğer bir deyişle, $p_{\theta}(x)=p(x|\theta)$ ,sabit bir parametre θ olan$x$ bir işlevidir.$\theta$

Tabii ki, FBI suçlunun ikametgahını bilmiyor ve bir sonraki suç mahallini tahmin etmek de istemiyor. (ilk suçluyu bulmak için umut!) bunun tam tersidir var FBI zaten suç sahneleri bilir $x$ ve suçlunun ikametgah bulmak istiyor $\theta$ .

bu yüzden FBI temsilcisinin mükemmel erkek kardeşi, mümkün olan tüm değerler arasında en olası $\theta$ denemeli ve bulmalıdır , yani gerçekten gözlenen x için p ( x | θ ) maksimize eden $\theta$ . Bu nedenle, şimdi dikkate l x ( θ ) = p ( x | θ ) bir fonksiyonu olarak İçeride ISTV melerin RWMAIWi'nin sabit bir parametre ile x . mecazi konuşursak, bilinen suç mahallerini en iyi şekilde "uyuyana kadar" haritada gugelhupf i etrafında dolaştırıyor x$p(x|\theta)$$x$$l_x(\theta)=p(x|\theta)$$\theta$$x$$x$. FBI ardından merkez içinde kapıya vurma gider İçeride ISTV melerin RWMAIWi'nin Gugelhupf arasında.$\hat{\theta}$

bu çerçeve değişikliği stres, $l_x(\theta)$ olarak adlandırılır olabilirlik arasında (fonksiyonu) $\theta$ oysa $p_{\theta}(x)$ olduğu ihtimali arasında (fonksiyonu) $x$ . ikisi de aslında aynı işlevi vardır $p(x|\theta)$ ama farklı açılardan görülen ve ile $x$ ve $\theta$ sırasıyla değişken ve parametre olarak rollerini anahtarlama.