Olabilirlik tanımı ile Frequentist ve Bayesian arasında bir fark var mı?

21

Bazı kaynaklar olabilirlik fonksiyonunun şartlı olasılık olmadığını, bazıları ise olduğunu söylüyor. Bu benim için çok kafa karıştırıcı.

Gördüğüm en kaynaklarına göre, parametre olan bir dağılım olasılığı , belirli bir olasılık fonksiyonları bir ürün olmalıdır numuneleri : $\theta$ $n$ $x_i$

L (θ) = L (x_{1}, x_{2}, . . ., x_{n}; θ) = \prod_{i = 1}^{n} p (x_{i}; θ)

$L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta)$

Örneğin, Logistic Regression'da, en uygun parametreleri ve dolayısıyla son LR modelini elde etmek için olasılık fonksiyonunu (Maksimum Olabilirlik Tahmini) en üst düzeye çıkarmak için bir optimizasyon algoritması kullanıyoruz. Birbirinden bağımsız olduğunu varsaydığımız eğitim örnekleri göz önüne alındığında, olasılıkların ürününü (veya ortak olasılık kütle fonksiyonlarını) en üst düzeye çıkarmak istiyoruz. Bu benim için oldukça açık görünüyor. $n$

Göre İlişkisinin: Olabilirlik, koşullu olasılık ve başarısızlık oranı , "olabilirlik bir olasılık değildir ve bir koşullu olasılık değil". Ayrıca, “olasılık, yalnızca Bayesian olabilirlik anlayışında koşullu bir olasılıktır, yani rastgele bir değişken olduğunu varsayarsanız” da bahsetti . $\theta$

Sık ve Bayezyen arasındaki bir öğrenme problemini tedavi etmenin farklı bakış açılarını okudum.

Bir kaynağa göre, Bayesian çıkarsama için, biz bir priori , olasılık ve Bayesian teoremini kullanarak posterior elde etmek istiyoruz : $P(\theta)$ $P(X|\theta)$ $P(\theta|X)$

P (θ | X) = \frac{P (X | θ) \times P (θ)}{P (X)}

$P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)}$

Bayesian Çıkarım ile aşina değilim. Gözlemlenen verinin parametrelerine bağlı olarak dağılımı olan nasıl bir olasılık olabilir? In Wikipedia , o yazılır bazen diyor . Ne anlama geliyor? $P(X|\theta)$ $L(\theta|X)=p(X|\theta)$

ve Bayesian'ın olasılıkla ilgili tanımları arasında bir fark var mı?

Teşekkürler.

DÜZENLE:

Bayes teoremini yorumlamanın farklı yolları vardır - Bayesian yorumlama ve Sıkça yorumlama (Bkz: Bayes teoremi - Wikipedia ).

— Tyler 傲来国主
kaynak

2

Olasılığın iki önemli özelliği (a) ' nın diğer yöne değil , belirli bir

için function'nin bir fonksiyonu

ve (b) yalnızca pozitif orantılılık sabiti ile bilinir. Bu bir olasılık değildir (şartlı ya da başka şekilde), çünkü hepsine

araya gelmesi veya bütünleşmesi gerekmez

θ

$\theta$

X

$X$

1

$1$

θ

$\theta$

— Henry

2

Bkz stats.stackexchange.com/q/224037/35989

— Tim

24

Tanımda hiçbir fark yoktur - her iki durumda da olabilirlik işlevi, örnekleme yoğunluğuyla orantılı olan parametrenin herhangi bir işlevidir. Açıkçası, olasılığın örnekleme yoğunluğuna eşit olmasını gerektirmez; sadece orantılı olması gerekir; bu, parametrelere bağlı olmayan çoklayıcı parçaların çıkarılmasını sağlar.

Örnekleme yoğunluğu, verinin bir fonksiyonu olarak yorumlanırken, parametrenin belirli bir değerine bağlı olarak, olabilirlik fonksiyonu, sabit bir veri vektörü için parametrenin bir fonksiyonu olarak yorumlanır. Yani standart IID verilerinde aşağıdakilere sahipsiniz:

L_{x} (θ) \propto \prod_{i = 1}^{n} p (x_{i} | θ) .

$L_\mathbf{x}(\theta) \propto \prod_{i=1}^n p(x_i|\theta).$

Bayes istatistiklerinde, genellikle Bayes teoremini en basit haliyle şöyle ifade ederiz:

π (θ | x) \propto π (θ) \cdot L_{x} (θ) .

$\pi (\theta|\mathbf{x}) \propto \pi(\theta) \cdot L_\mathbf{x}(\theta).$

Bayes teoreminin bu ifadesi, her iki çok dilli elemanının da, arka yoğunluktaki ilgilenilen nesne olan parametrenin işlevleri olduğunu vurgulamaktadır. (Bu orantılılık sonucu, kuralı tam olarak tanımlamaktadır, çünkü arka yoğunluk bir yoğunluktur ve bu nedenle onu birle bütünleştiren benzersiz bir çarpma sabiti vardır.) Güncellemenizde belirttiğiniz gibi, Bayesian ve frekansçı felsefenin farklı yorumlayıcı yapıları vardır. Frekansçı paradigma içerisinde parametre genellikle "sabit bir sabit" olarak değerlendirilir ve bu nedenle bir olasılık ölçüsü olarak tanımlanmaz. Bu nedenle, sık görüşmeler parametreye önceki veya arkadaki dağıtımın tanımını reddeder (bu felsefi ve yorumlayıcı farklılıklar hakkında daha fazla tartışma için, bakınız, örneğin, O'Neill 2009 ).

— Monica'yı eski durumuna getir
kaynak

14

$-$ $-$ $L(\theta;x)$ $L(\theta|x)$ $\theta$ $-$ $-$ $x$ $(\theta,x)$ $x$ $\theta$

Bu forumda daha önceki bir cevaptan daha yetkili ve tarihsel kaynaklardan alıntı yapmak ,

“Bu gözlemleri açıklamak için önerilebilecek herhangi bir hipotez ile ilgili olarak gözlemlenebilecek miktarların oluşma olasılığını tartışabiliriz. Hipotezlerin olasılığını hiçbir şey bilemeyiz. hipotezlerin ... ... gözlemlerden elde edilen hesaplamalarla ... ... gözlemlenebilir bir nicelikten bahsetme ihtimalinin bir anlamı yoktur. " RA Fisher, korelasyon katsayısının '' muhtemel hatası '' üzerinde küçük bir örneklemden çıkarıldı . Metron 1, 1921, s.25

ve

“Bir örnekten bulabildiğimiz şey, herhangi bir r değerinin olabilirliği olabilir, eğer olasılığını, belirli bir r değerine sahip olan bir popülasyondan, r değerinin gözlenen değerine sahip olan bir örneklem olasılığı ile orantılı bir miktar olarak tanımlarsak , elde edilmelidir. " RA Fisher, korelasyon katsayısının '' muhtemel hatası '' üzerinde küçük bir örneklemden çıkarıldı . Metron 1, 1921, s.24

bu, Jeffrey'lerin (ve ben) gereksiz buldukları bir orantılılıktan bahseder:

"..likeli, Profesör RA Fisher tarafından tanıtılan uygun bir terim, kullanımında bazen sabit bir faktörle çarpılsa da. Bu, orijinal bilgiler ve gözlemlenen hipotezler hakkındaki gözlemlerin olasılığıdır." H. Jeffreys, Olasılık Teorisi , 1939, s.28

John Aldrich'in konuya mükemmel tarihsel giriminden bir cümle alıntı yapmak (İstatistik Bilimi, 1997):

"Fisher (1921, s. 24), 1912'de ters olasılık hakkında yazdığı şeyi, olasılık yoğunlukları ve olasılıkları üzerinde gerçekleştirilebilecek matematiksel işlemler arasında ayrım yaparak yeniden tasarladı: olasılık, bir" diferansiyel eleman "değildir, birleştirilemez. ." J. Aldrich, RA Fisher ve Maksimum Olabilirlik Yapma 1912 - 1922 , 1997 , s.9

$x$ $\theta$ $\theta$ $x$ $\theta$ $\theta$ $\theta$ $\pi(\cdot)$ $X$ $x$ $L(\theta|\cdot)$ $\theta$ $(\theta,x)$

π (θ) \times L (θ | x)

$\pi(\theta) \times L(\theta|x)$

θ

$\theta$

θ

$\theta$

x

$x$

π (θ | x) \propto π (θ) \times L (θ | x)

$\pi(\theta|x) \propto \pi(\theta) \times L(\theta|x)$

posterior \propto prior \times likelihood

$\text{posterior} \propto \text{prior} \times \text{likelihood}$

Not: Vikipedi sayfasının girişinde sık ve Bayesçi kafa karıştırıcı olabilirlikleri arasındaki olasılık fonksiyonlarıyla ilgili kafa karıştırıcı ve gereksiz ya da mevcut Bayesli istatistikçilerin büyük bir çoğunluğunun posterior olasılığın yerine geçme ihtimalini kullanmadığı için yanlış olan basitlik işlevleriyle ilgili bir ayrım yapıyorum . Benzer şekilde, Vikipedi sayfasındaki Bayes Teoremi hakkında işaret edilen "fark" , her şeyden daha kafa karıştırıcıdır, çünkü bu teorem, paradigmadan veya bir olasılık ifadesinden bağımsız olarak, şartlı bir değişiklikle ilgili bir olasılık ifadesidir. ( Benim düşünceme göre , bu bir teoremden daha bir tanımdır!)

— Xi'an
kaynak

1

Küçük bir zeyilname olarak:

"Olabilirlik" adı tamamen yanıltıcıdır, çünkü çok farklı olası anlamlar vardır. Sadece "normal dil" değil, aynı zamanda istatistiklerde. En az üç farklı, ancak hepsinde Olabilirlik adı verilen ilgili ifadeler bile düşünebilirim; ders kitaplarında bile.

Bununla birlikte, Olasılığın çarpımsal tanımını alırken, onun içinde (örn. Aksiyomatik) tanımı anlamında onu herhangi bir olasılığa dönüştürecek hiçbir şey yoktur. Gerçek değerli bir sayıdır. Bir olasılığı hesaplamak veya bir olasılıkla ilişkilendirmek için birçok şey yapabilirsiniz (oranları almak, öncelikleri ve posterleri hesaplamak, vb.) - ancak kendi başına olasılık açısından bir anlamı yoktur.

Cevap, Xi'an'ın çok daha bilgilendirici ve kapsamlı bir yanıtı tarafından neredeyse hiç kullanılmamıştır. Fakat talep üzerine, bazı olasılık kitaplarının Olabilirlik tanımları:

$L (\vec{x}; \theta)$
$\theta$
Olabilirlik değerlerinin farklı öncelikler için oranı (örneğin bir sınıflandırma görevinde) ... ve dahası, yukarıda belirtilen öğelerin (ab) kullanımına atfedilebilecek farklı anlamlar.

— melek
kaynak

1

En azından üç farklı düşünebildiğim için örnekler / referanslar ekleyebiliyorsanız, bu daha iyi bir cevap olacaktır , hatta hepsinde olabilirlik denilen ifadeler bile olabilir; ders kitaplarında bile .

— kjetil b halvorsen