Okudum Neyman-Pearson Lemmasını kitaptan İstatistik Teorisine Giriş Mood, Graybill ve Boes tarafından. Ama ben lemi anlamadım.

Birisi bana lemi bana basit kelimelerle açıklayabilir mi? Ne ifade ediyor?

Neyman- Pearson lemması: Let $X_1,\ldots,X_n$ rasgele bir örnek olarak , iki bilinen değerlerden biridir ve ve izin olacak sabit.$f(x;\theta)$$\theta$$\theta_0$$\theta_1$$0<\alpha<1$

Let pozitif bir sabittir ve olmak bir alt kümesi olan tatmin: Daha sonra test kritik bölgeye karşılık gelen boyutunun en güçlü testtir bir karşı$k^*$$C^*$$\mathscr X$

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ $\gamma^*$$C^*$$\alpha$$\mathscr H_0:\theta=\theta_0$$\mathscr H_1:\theta=\theta_1$

Kelimelerin ifadesinde, iki kriterin belirtildiğini anladım.

(1) P [boş hipotezi reddetme | boş hipotez doğrudur] = önem seviyesi

(2) hipotezini reddetmek zaman ihtimal oranı , $\lambda\le$ bazı olumlu sabiti $k^*$ ise $(x_1,\ldots,x_n)$ kritik bölgesinde düşüş

Sonra testtir en güçlü testi a basit hipotezi .

• Neden sadece basit hipotezler için? Kompozit hipotez için olamaz mı? Sözcüklerdeki açıklamam doğru mu?

Sanırım lemi iyi anladın.

Kompozit bir alternatif için neden çalışmıyor? Olasılık oranında görebileceğiniz gibi, alternatif hipotez için parametre (ler) i girmemiz gerekir. Alternatif kompozit ise, hangi parametreyi bağlayacaksınız?

Kısa bir süre önce Neyman Pearson lemmasını açık bir şekilde söyleyen ve örnek veren bir linkedin blogunda bir yazı yazdım. Lemmada açık bir sezgi sağlama anlamında örnek göz açıklığını buldum. Olasılıkta olduğu gibi, ayrı bir olasılık kütle fonksiyonuna dayanır, böylece pdf'lerle çalışırken olduğundan daha kolay anlaşılır. Ayrıca, olasılık oranını, lemma ifadenizin aksine, alternatif hipotezin ve sıfır hipotezinin olasılığı olarak tanımladım. Açıklama aynı, ancak şimdi olduğundan daha büyük değil. Umut ediyorum bu yardım eder...

Veri analizinde çalışan ve bazı istatistik dersleri almış olanlarınız Neyman-Pearson lemmasını (NP-lemma) öğrenmiş olabilir. Mesaj basit, gösteri çok değil ama her zaman zor bulduğum şey, ne hakkında olduğu konusunda sağduyulu bir his elde etmekti. PIGood ve JWHardin tarafından "İstatistikte Yaygın Hatalar" adlı bir kitap okumak, her zaman özlediğim NP-lemmaya ilişkin bu içgüdüyü hissetmeme yardımcı olan bir açıklama ve örnek aldım.

% 100 matematiksel olarak mükemmel olmayan bir dilde, Neyman-Pearson'ın bize söylediği, belirli bir önem seviyesi dahilinde verilen bir hipotezi doğrulamak için en güçlü testin, bu testten gelen tüm olası gözlemlerle yapılan bir reddetme bölgesi tarafından verildiğidir. Belli bir eşiğin üstünde bir olasılık oranı ... woahhh! Kim kolay olduğunu söyledi!

Sakin ol ve lemayı yapış:

1. Hipotez . İstatistiklerde, bir istatistik testinin reddetmesi veya reddetmesi gerektiği iki hipotez ile çalışır. Buna karşı örnek kanıt yeterince güçlü olana kadar reddedilmeyecek olan boş hipotez vardır. Ayrıca, null yanlış gibi görünüyorsa alacağımız alternatif hipotezi de vardır.
2. Bir testin gücü (aka duyarlılık) bize, yanlış zaman olduğunda boş hipotezi hangi zamanların doğru şekilde reddedeceğimizi söyler. Güçlü testler istiyoruz, bu yüzden çoğu zaman haklı olduğumuz boş hipotezi reddediyoruz!
3. Testin önem düzeyi (yanlış pozitif oran), doğru olduğu zaman boş hipotezi hangi zamanların yanlışlıkla reddedeceğimizi söyler. Küçük bir önem seviyesi istiyoruz, bu nedenle boş hipotezi reddettiğimiz çoğu zaman yanlış değiliz!
4. Reddetme bölgesi , testin olası tüm sonuçlarına bakıldığında, reddetme bölgesi, alternatif hipotezi reddetmemize neden olacak sonuçları içerir.
5. Olasılık , boş hipotezin (boş hipotezin olasılığı) veya alternatif olanın (alternatif hipotezin olasılığı) doğru olduğu göz önüne alındığında, testin gözlemlenen sonucunu görme olasılığıdır.
6. Olabilirlik oranı , boş hipotez olasılığına bölünmüş alternatif hipotez olasılığının oranıdır. Test sonucunun, alternatif hipotez ile alternatif hipotezin doğru olması halinde çok beklenmesi halinde, olasılık oranı küçük olmalıdır.

Yeterli tanım! (Onlara dikkatlice bakarsanız, onların çok anlayışlı olduklarının farkına varacaksınız!). Neyman ve Pearson'ın bize söylediklerine gidelim: mümkün olan en iyi istatistiksel testi yapmak için gücü açısından sadece reddetme bölgesini tanımlayın, olasılık oranının en yüksek olduğu test sonuçlarını ekleyerek ve daha fazla test eklemeye devam edin. Testiniz doğru olduğunda null hipotezini reddetme sayısı için belirli bir değere ulaşana kadar sonuçları (önem düzeyi).

Bakalım her şeyin bir araya geleceği bir örnek görelim. Örnek yukarıda belirtilen kitaba dayanıyor. Tamamen kendi başıma yapılmıştır, bu nedenle herhangi bir gerçeği veya kişisel görüşü yansıttığı görülmemelidir.

Birinin göçmenlik kotalarını (boş hipotez) belirlemenin lehine olup olmadığını (alternatif hipotez) Avrupa Birliği'ne karşı duygularını sorarak belirlemek istediğini düşünün.

Her iki insan için de soruya verdiğimiz yanıtla ilgili gerçek olasılık dağılımını bildiğimizi hayal edin:

Hayal edelim ki% 30'luk bir yanlış pozitif hata kabul etmeye istekli olduğumuzu, yani% 30'luk boş hipotezi reddedeceğimizin ve görüşülen kişinin gerçekte kendileri için kotalara karşı olduğunu varsaydığımızı varsayalım. Testi nasıl yaparız?

Neyman ve Pearson'a göre, ilk önce sonuçları en yüksek olasılık oranına göre alacağız. Bu, 3'lük bir oranla "AB'ye gerçekten benzer" cevabı Kotalar için insanlar aleyhine olduğu gibi (önem). Bununla birlikte, kotadaki insanlara karşı sadece sınıfın% 30'unu (güç) doğru bir şekilde sınıflandıracağız çünkü bu gruptaki herkes AB hakkında aynı düşünceye sahip değildi.

Bu, güç söz konusu olduğunda, zayıf bir sonuç gibi görünüyor. Bununla birlikte, test kota insanları için yanlış sınıflandırmada pek fazla hata yapmamaktadır (önem). Önemlilik konusunda daha esnek olduğumuz için, boş hipotezi reddeden (reddetme bölgesi) cevap çantalarına eklememiz gereken bir sonraki test sonucuna bakalım.

En yüksek olabilirlik oranına sahip olan bir sonraki cevap “AB'ye benzer”. AB’yi kotalar için olan birisinin boş hipotezini reddetmemize izin veren test sonuçları olarak AB’yi "gerçekten" ve "beğeni" olarak kullanırsak, kotalar için zamanın% 30’u (% 10’dan değil) yanlış sınıflandırırız. "gerçekten beğen" ve "beğen" den% 20) ve kotalara karşı zamanın% 65'ini ("gerçekten beğen" in% 30'u ve "beğen" in% 35'i) doğru şekilde sınıflandıracağız. İstatistiksel jargonda: önemimiz% 10'dan% 30'a (kötü!) Yükselirken, testimizin gücü% 30'dan% 65'e (iyi!) Yükseldi.

Bu, tüm istatistiksel testlerin sahip olduğu bir durumdur. İstatistiklerde bile bedava öğle yemeği gibi bir şey yok! Eğer testinizin gücünü arttırmak istiyorsanız, önem seviyesini arttırma pahasına yaparsınız. Ya da daha basit bir ifadeyle: iyi adamları daha iyi sınıflandırmak istiyorsan, daha kötü adamların iyi görünmesi pahasına yapacaksın!

Temel olarak, şimdi bitti! Birinin kotalara karşı olup olmadığını belirlemek için "gerçekten beğen" ve "beğen" etiketlerini kullanarak verilen verilerle yapabileceğimiz en güçlü testi ve% 30'luk anlamlılık düzeyini oluşturduk ... emin miyiz?

"Gerçekten gibi" cevabının seçilmesinden sonra ikinci adımda "beğenmek" yerine "kayıtsız" cevabını seçmiş olsaydık ne olurdu? Testin önemi daha önce% 30 ile aynı olurdu: kota insanlarının% 10'u “gerçekten” gibi ve kota insanlarının% 20'si “hoşlanmamak” şeklinde cevap verdi. Her iki test de kota bireyleri için yanlış sınıflandırmada kötü olacaktır. Ancak, güç daha da kötüleşecekti! Yeni test ile daha önce sahip olduğumuz% 65 yerine% 50'lik bir güce sahip olacaktık: "% 30" dan "% 20 ve" kayıtsız "dan% 20. Yeni test ile kota bireylerine karşı tanımlamada daha az hassas olacağız!

Burada kim yardım etti? Neyman-Kişi olabilirlik oranı dikkate değer bir fikir! Her seferinde en yüksek olabilirlik oranına sahip cevabı almak, yeni teste, önemini kontrol altında tutarken (küçük payda) mümkün olduğunca fazla güç (büyük pay) dahil etmemizi sağlamıştır!

Bağlam

(Bu bölümde sadece hipotez testlerini açıklayacağım, kendi stilime göre bir ve iki hatayı yazın, vb. Bu malzemeyle rahatsanız bir sonraki bölüme geçin)

Neyman-Pearson lemması basit hipotez testi probleminde ortaya çıkıyor . Biz iki ortak uzay üzerinde farklı olasılık dağılımları sahip $\Omega$ : $P_0$ ve $P_1$ null adlı denir ve alternatif hipotezler. Tek bir gözleme dayanarak $\omega\in\Omega$ , biz yürürlükte olduğu iki olasılık dağılımları kendisi için bir tahmin ile gelmek zorunda. Bir deney , bu nedenle her bir fonksiyonu olan $\omega$ , ya "Boş hipotez" ya da "alternatif hipotez" bir tahmin atar. Bir test açıkça "alternatif" olarak döndüğü bölge ile tanımlanabilir, bu yüzden sadece olasılık alanının alt kümelerini (olaylarını) arıyoruz.

Tipik olarak uygulamalarda, boş hipotez, bir tür statükoya karşılık gelirken, alternatif hipotez, kanıtlamaya veya kanıtlamayacağınız yeni bir olgudur. Örneğin, psişik güçler için birini test ediyor olabilirsiniz. Standart testi, squiggly çizgili ya da olmayan kartlarla yaparsınız ve belirli sayıda tahmin etmelerini sağlarsınız. Boş hipotez, beş haktan birinden daha fazlasına sahip olmayacakları (beş kart olduğundan beri), alternatif hipotez psişik olmaları ve daha fazla hak kazanmaları olabilir.

Yapmak istediğimiz şey, hata yapma olasılığını en aza indirmektir. Ne yazık ki, bu anlamsız bir kavram. Hata yapmanın iki yolu vardır. Ya sıfır hipotezi doğrudur ve bir örnek $\omega$ Testinizin "alternatif" Bölgedeki veya alternatif hipotez doğrudur ve "boş" bölgesini örnek. Şimdi, olasılık alanının ( $A$ bölgesini (test) sabitlerseniz, $P_0(A)$ ve P 1 ( A c ) sayıları$P_1(A^{c})$bu iki tür hata yapma olasılığı çok iyi tanımlanmıştır, ancak “boş / alternatif hipotezin doğru olma olasılığı” hakkında hiçbir fikriniz olmadığı için, herhangi bir türden anlamlı bir “olasılık” elde edemezsiniz. hata". Yani bu, matematik dersinde, bazı nesne sınıflarının "en iyisini" istediğimiz, ancak yakından baktığımızda, "en iyi" olmadığın, oldukça tipik bir durum. Aslında, yapmaya çalıştığımız şey, açıkça hedeflere karşı olan P 1 ( A ) ' yı maksimize ederken $P_0(A)$ yı en aza indirmektir .$P_1(A)$

Psişik yetenekler testi örneğini akılda tutarak, boş değerin doğru olduğu hata türüne değinmeyi seviyorum, ancak alternatifi " sanrı " olarak doğru (sonuçta psişik olduğuna inanıyor ama o değil) ve " unutkanlık " olarak başka tür bir hata .

Lemma

Neyman-Pearson lemmasının yaklaşımı şöyledir: Hadi, sadece tahammül etmeye istekli olduğumuz maksimum yanılsama $\alpha$ olasılıkını seçelim ve daha sonra bu üst sınırı yerine getirirken minimum derecede kayıtsızlık olasılığı olan testi bulalım. Sonuç, bu tür testlerin her zaman olabilirlik oranı testi şeklinde olması:

Önerme (Neyman-Pearson lemma)

Eğer $L_0, L_1$ , boş ve alternatif hipotezlerin olasılık fonksiyonları (PDF) ve $\alpha > 0$ ise, P'yi korurken P 1'i ( A ) maksimize eden $A\subseteq \Omega$ bölgesidir.$P_1(A)$$P_0(A)\leq \alpha$ ait form

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

$K>0$ $K$$P_1(A)\geq P_1(B)$$B$$P_0(B)\leq P_0(A)$

$K$$P_0(A)=\alpha$

Vikipedi'deki yazı sırasındaki ispat, sadece bu formu tahmin etmekten ve daha sonra gerçekten optimal olduğunu doğrulamaktan oluşan oldukça tipik bir matematiksel kanıttır. Tabii ki asıl gizem, bu ihtimalin bile gelme ihtimalinin bir oranını alma fikrinin nerede olduğu ve cevabı şudur: olabilirlik oranı sadece yoğunluğudur.$P_1$$P_0$

$P_0$$P_1$$\mathbb R^n$$P_0(A)$$P_0$$P_1$$P_0$$P_1$$P_0$

Arazi Alımı

Bu nedenle lemin kalbi şudur:

$\mu$$\Omega$$f$$\Omega$$\alpha > 0$$A$$\mu(A)\leq\alpha$$\int_A fd\mu$

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ $K>0$$\int f$$B$

$\alpha$$f$$\int f$$\alpha$$\mu$$P_0$$f$$P_1$$P_0$$L_1/L_0$

$A$$B$$B'$$A$$B'$$B$$A$$B$$B'$$x\in A$$f(y)>f(x)$$y$$A$$x$$y$$A$$f^{-1}([K, +\infty))$$K$