Karşılaştırma 0/10 ile 0/20

Görev başarı oranlarını tartışırken, 20 denemeden 0'ının 10 denemeden 0'ından "daha kötü" olduğunu göstermenin bir yolu var mı?

probability sampling

— vinne
kaynak

Kullanılacak deneyebilirsiniz en.wikipedia.org/wiki/Additive_smoothing ziyade katı kanıttan daha sallayarak eller olacak

— abukaj

Daha kötü olduğunu nereden biliyorsun? Sadece 10 girişimleri mümkün olsaydı Örneğin, o zaman yok daha girişimleri ile skor ne olacağını biliyorum.

— Tim

Tahmin edilen oran için belki bir güven aralığı?

— mdewey

Bu benim için makul bir soru gibi görünüyor. Tartışılabilecek tamamen normal bir sezgiye dayanır ve bu sorunu ele almanın istatistiksel yolları (örn. Bayesian) vardır. Açık bırakmak için oy veriyorum.

— gung - Monica'yı eski durumuna döndürün

@Gung ile hemfikirim. Bu iyi bir soru.

— Alexis

Yanıtlar:

Bir denemede başarı olasılığını bildiğimizi varsayalım. Bu durumda 10 vakanın 0 ve 20 vakanın 0 olasılığını hesaplıyoruz.

Ancak, bu durumda tam tersine gidiyoruz. Olasılığı bilmiyoruz, verilerimiz var ve olasılığı tahmin etmeye çalışıyoruz.

Ne kadar fazla vakamız olursa, sonuçlarla ilgili o kadar kesin olabiliriz. Eğer bir bozuk para çevireceğim ve kafa olacaksa, çift başlı olduğundan emin olmayacaksınız. 1000 kere fırlatacaksam ve hepsi kafa olacaksa, dengeli olması pek mümkün değil.

Tahminleri verirken patika sayısını dikkate almak için tasarlanmış yöntemler vardır. Bunlardan biri @abukaj yukarıda hakkında yorum yapan ek yumuşatma . Katkı yumuşatma işleminde fazladan sözde örnekler ekliyoruz. Bizim durumumuzda, gördüğümüz patika yerine iki tane daha ekledik - biri başarılı diğeri başarısız.

İlk durumda yumuşatılmış olasılık = ~% 8.3 olacaktır. $\frac{1+0}{10 +1 +1}$ $\frac{1}{12}$
İkinci durumda = ~% 4,5 $\frac{1+0}{20 +1 +1}$ $\frac{1}{22}$

Katkı düzleştirmenin sadece bir tahmin yöntemi olduğunu unutmayın. Farklı yöntemlerle farklı sonuçlar elde edersiniz. Katkı yumuşatma ile bile, 4 sözde numune ekleseydiniz farklı sonuçlar elde edersiniz.

Başka bir yöntem de mdewey'in önerdiği gibi güven aralığını kullanmaktır . Ne kadar çok örneğimiz olursa, güven aralığı o kadar kısa olacaktır. Güven aralığının boyutu, örneklerin kare kökü ile orantılıdır - . Bu nedenle, örnek sayısının iki katına çıkarılması daha kısa bir güven aralığına yol açacaktır . $\frac{1}{\sqrt{n}}$ $\sqrt{2}$

Her iki durumda da ortalama 0'dır. Güven düzeyini% 90 alıyoruz (z = 1.645)

İlk durumda 0 + elde % ~ 52 $\frac{1.645}{\sqrt{10}}$
İkinci durumda 0 + elde % ~ 36 $\frac{1.645}{\sqrt{20}}$

Eksik veri olması durumunda belirsizlik vardır. Yaptığınız varsayımlar ve kullanacağınız dış veriler alacağınız şeyi değiştirecektir.

— Dal
kaynak

Çok teşekkür ederim Dan Levin. Cevabınız matematikçi olmayan bir kişinin takip edebileceği kadar açıktı, ancak açıklamanızı sezgisel olarak kabul edebilecek kadar sağlamdı. Tüm yorumculara katkılarınız için teşekkür ederiz.

— vinne

Güven aralıklarını çağırma fikrini genişleten kesin bir binom aralığı kavramı vardır.

Binom dağılımı, bağımsız denemelerde 0 (başarısızlık) veya 1 (başarı) ile sonuçlanan toplam başarı sayısıdır. 1 (başarı) elde etme olasılığı geleneksel olarak gösterilir ve tamamlayıcısı . O zaman standart olasılık sonucu, denemede tam olarak başarı olasılığının $p$ $q=1-p$ $k$ $n$

p_{n, k} = (\binom{n}{k}) p^{k} q^{n - k} = \frac{n!}{k! (n - k)!} p^{k} q^{n - k}

$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$

Güven aralığı kavramı , gerçek parametre değerinin bu aralık içinde olup olmadığı hakkında olasılıklı (iyi, sık sık ) ifadeler yapabilmemiz için model parametrelerinin bir dizi olası değerini (burada başarı olasılıkları ) sınırlamaktır. , 10 veya 20 deneme yapma olasılığını tekrarlarsak ve güven aralığını belirli bir şekilde oluşturursak, parametrenin gerçek değerinin zamanın% 95'i aralığında olduğunu gözlemleyeceğiz). $p$

Bu durumda, şu formülde çözebiliriz : $p$

p_{n, 0} = (1 - p)^{n}

$p_{n,0}=(1-p)^n$

Bu nedenle,% 95 tek taraflı bir aralık isteseydik, değerini, gözlenen sıfır sayısının en fazla% 5 olma olasılığını çözmek için ayarlayacağız . İçin , cevap (her denemede bir başarı olasılığı% 13.9, sıfır başarıları gözlemleme olasılık ise, yani, uç,% 5 olan). İçin , cevap . Bu nedenle bir numunesinden , daha örneğinden daha öğrenilen biz `` 'aralığı hariç tutmak için bu anlamda, bir örnek olduğu hala akla yatkın. $p_{n,0}=5\%$ $n=20$ $[0\%,13.9\%]$ $n=10$ $[0\%,25.9\%]$ $n=20$ $n=10$ $[13.9\%,25.9\%]$ $n=10$

— StasK
kaynak

Bayesci Bir Yaklaşım

Let için IID, bir seri Bernoulli rastgele değişken parametresi ile . $X_i$ $i=1,\ldots n$ $p$
Bize parametre bizim belirsizliği temsil edelim o izler varsayarak Beta dağılımı ile hyperparameters ve . $p$ $\alpha$ $\beta$

Olabilirlik fonksiyonu Bernoulli ve beta dağılımı olan eşlenik önce Bernoulli dağılımı için, dolayısıyla arka beta dağılımını izler. Ayrıca, posterior aşağıdakilerle parametrelendirilir:

\hat{α} = α + \sum_{i = 1}^{n} X_{i} \hat{β} = β + n - \sum_{i = 1}^{n} X_{i}

$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$

Sonuç:

\begin{aligned} E [p ∣ X_{1}, \dots, X_{n}] & = \frac{\hat{α}}{\hat{α} + \hat{β}} \\ = \frac{α + \sum_{i = 1}^{n} X_{i}}{α + β + n} \end{aligned}

$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$

Eğer 10 arızaları görürseniz Böylece, sizin beklenti olan , ve 20 arızaları görürseniz, sizin beklenti olan . Ne kadar çok hata görürseniz, beklentiniz o kadar düşük olur . $p$ $\frac{\alpha}{\alpha + \beta + 10}$ $p$ $\frac{\alpha}{\alpha + \beta + 20}$ $p$

Bu makul bir argüman mı? Bayes istatistikleri hakkında nasıl hissettiğinize , olasılık mekaniğini kullanarak bazı parametreler üzerindeki belirsizliği modellemeye istekli olup olmadığınıza bağlıdır . Ve bir önceki seçiminizi ne kadar makul olduğuna bağlıdır. $p$

— Matthew Gunn
kaynak