Kullback-Leibler diverjansına karşı hipotez testi ve toplam varyasyon mesafesi

Araştırmamda şu genel sorunla karşılaştım: Aynı alan üzerinde iki $P$ ve dağılımı ve $Q$ bu dağılımlardan çok sayıda (ancak sonlu) örnek var. Örnekler bu iki dağılımdan birinden bağımsız ve özdeş olarak dağıtılır (dağılımlar ilişkili olsa da: örneğin, $Q$ , $P$ ve diğer bazı dağılımların bir karışımı olabilir .) Boş hipotez, numunelerin geldiği $P$ , alternatif hipotezin numuneler geliyor $Q$ .

$P$ ve dağılımlarını bilerek, numuneyi test ederken Tip I ve Tip II hatalarını karakterize etmeye çalışıyorum $Q$ . Özellikle, $P$ ve bilgisine ek olarak, bir hatayı diğerine bağlamakla ilgileniyorum $Q$ .

Matematik ile ilgili bir soru sordum. ve arasındaki Toplam Varyasyon mesafesinin hipotez testine olan ilişkisi hakkında bir soru sordum ve kabul ettiğim bir cevap aldım. Bu cevap mantıklı, ama yine de zihnimi Toplam Varyasyon mesafesi ve hipotez testi ilişkisinin arkasındaki daha derin anlamın etrafına, sorunumla ilgili olarak sarmalayamadım. Böylece bu foruma dönmeye karar verdim. $P$ $Q$

İlk sorum şudur: Toplam varyasyon , Tip I ve Tip II hatalarının olasılıklarının toplamına bağlı olarak kullanılan hipotez test yönteminden bağımsız mıdır? Özünde, numunenin dağılımlardan herhangi biri tarafından üretilmediği sıfır olmayan bir olasılık olduğu sürece, hatalardan en az birinin olasılığı sıfır olmamalıdır. Temel olarak, hipotez test cihazınızın ne kadar sinyal işlemesi yaparsanız yapın hata yapma olasılığından kaçamazsınız. Ve Toplam Varyasyon tam olarak bu olasılığı sınırlar. Anlayışım doğru mu?

Tip I ve II hataları ile altta yatan olasılık dağılımları ve arasında başka bir ilişki daha vardır : KL ayrılığı . Dolayısıyla, ikinci sorum şu: KL-diverjans sadece belirli bir hipotez test yöntemine uygulanabilir mi (log-olasılık oranı yöntemi çok fazla ortaya çıkıyor gibi görünüyor) veya genel olarak tüm hipotez test yöntemlerine uygulanabilir mi? Tüm hipotez test yöntemlerinde uygulanabiliyorsa, neden Toplam Varyasyondan bu kadar çok farklı görünüyor? Farklı davranıyor mu? $P$ $Q$

Ve asıl sorum şu: herhangi bir bağlı kullanmam gerektiğinde öngörülen bir dizi koşul var mı, yoksa bu sadece bir kolaylık meselesi mi? Bir ilişkili kullanılarak elde edilen sonuç ne zaman diğerini kullanarak elde tutulmalıdır?

Bu sorular önemsizse özür dilerim. Ben bir bilgisayar bilimcisiyim (bu benim için süslü bir desen eşleştirme problemi gibi görünüyor :) Ancak, tüm bu hipotez testi malzemelerini öğrenmeye başladım. Gerekirse sorularımı netleştirmek için elimden geleni yapacağım.

— MBM
kaynak

Yanıtlar:

Edebiyat: İhtiyacınız olan cevabın çoğu kesinlikle Lehman ve Romano'nun kitabında . Ingster ve Suslina'nın kitabı daha gelişmiş konuları ele alıyor ve size ek cevaplar verebilir.

$L_1$ $TV$ $n$ $L_1$

Geliştirme: Şunu belirtelim:

$g_1(\alpha_0,P_1,P_0)$ $\leq\alpha_0$ $P_0$ $P_1$
$g_2(t,P_1,P_0)$ $t$ $(1-t)$ $P_0$ $P_1$

$L_1$ $L_1$ $L_1$ $TV$

$L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

$A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

Teorem 1 Eğer(TV dağıtımının yarısı), sonra $|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$ .
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

Kanıtı buraya yazdım .

Teoremi 2 için ve olasılık dağılımları: $P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

Bu sınırlar iyi bilinen birkaç istatistikçiden kaynaklanmaktadır (LeCam, Pinsker, ...). ; Hellinger mesafesi, KL sapması ve ki-kare sapmasıdır. Hepsi burada tanımlanmıştır . ve bu sınırların ispatı verilir (başka şeyler Tsybacov kitabında bulunabilir ). Ayrıca Hellinger tarafından neredeyse alt sınırı olan bir şey var ... $h$ $K$ $\chi^2$ $L_1$

— robin girard
kaynak

Cevabınız için teşekkür ederim, şimdi sindirmeye çalışıyorum. Benim sorunumda Tip I hataya izin verdim. Ayrıca iki dağıtım ve . Aralarında TV (KL yanı sıra) biliyorum. Yani, TV'nin Tip II hatası üzerinde KL'den daha sıkı bir alt sınır verdiğini söylüyorsunuz, yani mümkün olduğunca alt sınırın sıkı olmasını arzu edersem analizim için TV'yi kullanmalıyım?

P_{0}

$P_0$

P_{1}

$P_1$

— MBM

Ve Lehmann ve Romano kitap önerisi için teşekkür ederim, çok yararlı görünüyor ve başımın üzerinde çok fazla değil. Ayrıca, kütüphanemin bir kopyası var! :)

— MBM

Ne Teorem 1 buraya söylüyor tv (veya L1) için eşitlik ile ilgilidir @Bullmoose g_2 veya G_1 (hataların asgari toplamı veya kontrollü tip I ile II hatayı girin) eşitliği ile ilgilidir. Burada eşitsizlik yok. Eşitsizlikler, L1'den Kullback'e gitmeniz gerektiğinde ortaya çıkar.

A_{1}

$A_1$

— robin girard

Ne yazık ki, ölçüm teorisinde çok az bir geçmişim var. Ben tür anlamak düşünmek ve , ama ben net değilim . Diyelim ki iki Gauss dağılımı var. Aralarındaki TV (veya L1) Ama ne olur olabilir mi? Tanımdan ...

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

— MBM

... ancak bu ilk madde işaretinden nasıl eşleşir?

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

— MBM

İlk sorunuzun cevabı: Evet, bir eksi toplam varyasyon mesafesi Tip I + Tip II hata oranlarının toplamında bir alt sınırdır. Bu alt sınır, hangi hipotez test algoritmasını seçerseniz seçin geçerlidir.

Gerekçe: Eğer Math.SE bindi cevap bu gerçeğin standart kanıt verir. Bir hipotez testi düzeltin. Let bu test sıfır hipotezini (örneğin bir kümesi her zaman mevcut olmalı) reddedecektir hangi sonuçların kümesi göstermek. Daha sonra Math.SE cevabındaki hesaplama alt sınırı kanıtlar. $A$

(Açıkçası, bu akıl yürütme çizgisi, hipotez testinizin belirleyici bir prosedür olduğunu varsayar. Ancak rastgele prosedürleri göz önünde bulundursanız bile, aynı sınırın hala geçerli olduğunu göstermek mümkündür.)

— DW
kaynak