Verilerin sürekli bir dağıtımdan en uygun şekilde ayrıştırılmasını belirleme

üzerinde desteklenen yoğunluğuna sahip sürekli bir dağıtımdan veri olduğunu varsayalım , ancak oldukça büyük olduğundan çekirdek yoğunluğu (örneğin) tahmin, oldukça doğrudur. Belirli bir uygulama için, gözlenen kütle fonksiyonu olan yeni bir veri kümesi elde etmek için gözlenen verileri sınırlı sayıda kategoriye dönüştürmem gerekiyor . $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

olduğunda basit bir örnek ve olduğunda . Bu durumda indüklenen kütle fonksiyonu $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Burada iki "ayar parametresi" grup sayısı, ve eşiklerinin uzunluk vektörüdür . İndüklenen kütle fonksiyonunu belirtin . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Örneğin, " için en iyi seçenek nedir, böylelikle grup sayısını yükseltmek (ve orada optimal seçmek ) ihmal edilebilir bir iyileşme sağlamak için cevap veren bir prosedür istiyorum. " . Belki de dağılımı türetilebilen bir test istatistiği (belki de KL diverjansındaki farklılık veya benzeri bir şeyle) oluşturulabilir gibi hissediyorum. Herhangi bir fikir veya ilgili literatür? $m, \lambda$ $m+1$ $\lambda$

Düzenleme: Ben sürekli değişken geçici aralıklı ölçümleri var ve geçici bağımlılığı modellemek için homojen olmayan bir Markov zinciri kullanıyorum. Açıkçası, ayrık durum markov zincirlerinin kullanımı çok daha kolaydır ve bu benim motivasyonumdur. Gözlenen veriler yüzdelerdir. Şu anda benim için çok iyi görünen özel bir takdir yetkisi kullanıyorum, ancak bunun resmi (ve genel) bir çözümün mümkün olduğu ilginç bir sorun olduğunu düşünüyorum.

Düzenleme 2: Aslında KL sapmasını en aza indirmek, verileri tamamen takdir etmemekle eşdeğerdir, böylece fikir tamamen ortadan kalkar. Bedeni buna göre düzenledim.

continuous-data discrete-data

— Makro
kaynak

Çoğu durumda, takip uygulamasının ihtiyaçları herhangi bir çözümün iyiliğini belirleyecektir. Belki bize rehberlik etmek için bu konuda daha fazla şey söyleyebilirsiniz.

— whuber

İlk olarak, ne demek istediğinizi ihmal edilebilir şekilde tanımlayın . Bu durum, bir oran-bozulma problemiyle ilişkili gibi görünüyor . Kapak & Thomas metin gibi konular için güzel okunabilir bir giriş sağlar.

— kardinal

parametrelerine sahip bir model gibi seviyeleri ile ayrıklaştırmayı düşünüyorum ( eşikler için). Bu ortamda ihmal edilebilir dediğimde istatistiksel anlamda "ekstra parametre eklemeye değmez" demek istiyorum.

k

$k$

k - 1

$k-1$

— Makro

Ayrıklaştırmanın aslında iyi bir hamle olup olmadığından emin değilim. Gözlemlerinizin orijinal alanında ayrı değerlerin yarattığı sınırlar üzerinde genelleme yapamazsınız.

— bayerj

Bu soruna geldiğim çözümü bir süre önce paylaşacağım - bu resmi bir istatistiksel test değil, yararlı bir buluşsal yöntem sağlayabilir.

Sürekli gözlemlerinizin olduğu genel durumu düşünün ; genellik kaybı olmadan her gözlemin örnek alanının aralık olduğunu varsayalım . Bir sınıflandırma şeması bir dizi kategoriye, ve kategorileri bölen konum eşiklerine, . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

tarafından kategorize edilmiş sürümünü belirtin; burada . Verilerin orijinal verilerin sınıflara olarak , nin varyansı , sabit değeri için gruplar içinde ve arasında varyasyonun bir kombinasyonu olarak düşünülebilir. : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Belirli bir sınıflandırma, grup varyansı içinde nispeten az varsa homojen gruplar üretmede başarılı olur . , bir tutumlu gruplama bu kazandıran en varyasyonun aramak için . vadede özellikle, biz seçmek istiyoruz ek düzeyleri ekleyerek, biz grup homojenliği içinde önemli ölçüde katmayan böylece. Bu akıl ile, optimal olan tanımlamak sabit değeri için olmak $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

Hangi seçiminin yeterli olduğunu belirlemek için kaba bir teşhis , bir fonksiyonu olarak - bu yörünge monoton olarak artmaz ve keskin bir şekilde azaldıktan sonra, daha fazla kategori ekleyerek nispeten daha az hassasiyet kazandığınızı görebilirsiniz. Bu sezgisel tarama , varyasyonun "yeterli" değerini kaç ana bileşenin açıkladığını görmek için bazen " Scree Plot " un nasıl kullanıldığına benzer . $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— Makro
kaynak