Binned verilerin üçüncü çeyreği nasıl tahmin edilir?

12

Üçüncü çeyreği, nüfusun dörtte birinden fazlasını içeren açık bir aralığa aitse belirlemek için herhangi bir teknik hile var mı (bu nedenle aralığı kapatamıyorum ve standart formülü kullanamıyorum)?

Düzenle

Bir şeyi yanlış anladığımda az çok tam bağlam sunacağım. İki sütun ve 6 satırlı bir tabloda düzenlenmiş verilerim var. Her sütun ile bir aralığa (ilk sütunda) ve o aralığa "ait" bir miktar nüfusa karşılık gelir. Son aralık açıktır ve nüfusun% 25'inden fazlasını içerir. Tüm aralıklar (sonuncusu hariç) aynı aralığa sahiptir.

Örnek veriler (sunum için aktarılmıştır):

Column 1: (6;8),(8;10),(10;12),(12;14),(14;16),(16;∞)
Column 2:    51,    65,     68,     82,     78,   182

İlk sütun gelir düzeyi aralığı olarak yorumlanmalıdır. İkincisi, geliri aralığa ait olan çalışan sayısı olarak yorumlanacaktır.

Düşündüğüm standart formül $\mathbb{Q}_{3}=x_{Q_{3}}+ \frac{\frac{3N}{4}- \sum_{i=1}^{k-1}n_{i}}{n_{Q_{3}}}r_{Q_{3}}$ .

distributions histogram descriptive-statistics

— Atad
kaynak

Kutulu verilerle kantilleri tahmin etmeye çalışırken yaygın bir varsayım, kutular içinde tekdüzelik varsaymaktır. Ancak, verilerin nasıl dağıtılacağına dair bir şey bildiğinizde (doğru eğrili gelirlerde olduğu gibi), bu bilgiyi yansıtan varsayımlar daha iyi olma eğilimindedir. Başka bir alternatif, bunun pürüzsüz olduğunu varsaymak ve daha sonra verileri (KDE veya bazı monte edilmiş dağıtım yoluyla olsun) pürüzsüzleştirmek, kutuları modele göre yeniden dağıtmak [& muhtemelen yeniden tahmin etmek (bir şekilde EM benzeri bir şekilde), & tekrar bölmelere dağıtın] ve bundan sonra kantilleri tahmin edin.

— Glen_b

16

Bu ikili verileri bir dağıtım modeline sığdırmanız gerekir , çünkü üst çeyreğe ekstrapolasyon yapmanın tek yolu budur.

Bir örnek

Tanım olarak, bu tip bir model ile verilmektedir cadlag fonksiyonu yükselen ile . Herhangi aralığına atar olasılık olan . Oturmasını sağlamak için, bir (vektör) parametresi tarafından dizine olası fonksiyonları bir aileyi varsaymak gerekir , Numunenin, belirli (ancak bilinmeyen) bazı tarafından tanımlanan bir popülasyondan rastgele ve bağımsız olarak seçilen bir insan topluluğunu özetlediği varsayılarak $F$ $0$ $1$ $(a,b]$ $F(b)-F(a)$ $\theta$ $\{F_\theta\}$ $F_\theta$ , örneğin olasılığı (veya olasılık , ) bireysel olasılıkların ürünüdür. Örnekte, $L$

L (θ) = (F_{θ} (8) - F_{θ} (6))^{51} (F_{θ} (10) - F_{θ} (8))^{65} \dots (F_{θ} (\infty) - F_{θ} (16))^{182}

$L(\theta) = (F_\theta(8) - F_\theta(6))^{51} (F_\theta(10) - F_\theta(8))^{65} \cdots (F_\theta(\infty) - F_\theta(16))^{182}$

çünkü kişiden birinin ilişkili olasılıkları , olasılığı vb. $51$ $F_\theta(8) - F_\theta(6)$ $65$ $F_\theta(10) - F_\theta(8)$

Modelin verilere uyumu

Maksimum Olabilirlik tahmin arasında üst düzeye çıkaran bir değerdir (eşdeğer ya da logaritması ). $\theta$ $L$ $L$

Gelir dağılımları genellikle lognormal dağılımlarla modellenir (örneğin, bkz . Http://gdrs.sourceforge.net/docs/PoleStar_TechNote_4.pdf ). Yazma , lognormal dağılımları ailesidir $\theta = (\mu,\sigma)$

F_{(μ, σ)} (x) = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{(günlük (x) - μ) / σ} tecrübe (- t^{2} / 2) d t .

$F_{(\mu, \sigma)}(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{(\log(x)-\mu)/\sigma} \exp(-t^2/2) dt.$

Bu aile (ve diğerleri için) sayısal olarak optimize etmek kolaydır . Örneğin, hesaplamak için bir işlev yazacağız ve sonra onu optimize edeceğiz , çünkü maksimum maksimum ile çakışıyor ve (genellikle) hesaplamak daha kolay ve sayısal olarak çalışmak için daha kararlı: $L$ R $\log(L(\theta))$ $\log(L)$ $L$ $\log(L)$

logL <- function(thresh, pop, mu, sigma) {
  l <- function(x1, x2) ifelse(is.na(x2), 1, pnorm(log(x2), mean=mu, sd=sigma)) 
                        - pnorm(log(x1), mean=mu, sd=sigma)
  logl <- function(n, x1, x2)  n * log(l(x1, x2))
  sum(mapply(logl, pop, thresh, c(thresh[-1], NA)))
}

thresh <- c(6,8,10,12,14,16)
pop <- c(51,65,68,82,78,182)
fit <- optim(c(0,1), function(theta) -logL(thresh, pop, theta[1], theta[2]))

Bu örnekte çözüm değerinde bulunan, . $\theta = (\mu,\sigma)=(2.620945, 0.379682)$ fit$par

Model varsayımlarını kontrol etme

En azından bunun varsayılan lognormallikle ne kadar iyi uyduğunu kontrol etmemiz gerekiyor, bu yüzden hesaplamak için bir fonksiyon yazıyoruz : $F$

predict <- function(a, b, mu, sigma, n) {
  n * ( ifelse(is.na(b), 1, pnorm(log(b), mean=mu, sd=sigma)) 
        - pnorm(log(a), mean=mu, sd=sigma) )

Takılan veya "öngörülen" kutu popülasyonlarını elde etmek için verilere uygulanır:

pred <- mapply(function(a,b) predict(a,b,fit$par[1], fit$par[2], sum(pop)), 
               thresh, c(thresh[-1], NA))

Verilerin histogramlarını ve bu grafiklerin ilk satırında gösterilen görsel olarak karşılaştırma tahminini çizebiliriz:

histogramlar

Bunları karşılaştırmak için, ki kare şeklinde bir istatistik hesaplayabiliriz. Bu, anlamlılığı değerlendirmek için genellikle ki kare dağılımına atıfta bulunur :

chisq <- sum((pred-pop)^2 / pred)
df <- length(pop) - 2
pchisq(chisq, df, lower.tail=FALSE)

$0.0087$ $6-8$ $6$ $3$ $0.40$

Miktarları tahmin etmek için uygunluğu kullanma

$6$ $3$ $(\mu, \sigma)$ $(2.620334, 0.405454)$ $F$ $75^{\text{th}}$

exp(qnorm(.75, mean=fit$par[1], sd=fit$par[2]))

$18.06$ $6$ $3$ $17.76$

Bu prosedürler ve bu kod genel olarak uygulanabilir. Eğer ilgiliyse, üçüncü çeyrek çevresinde bir güven aralığını hesaplamak için maksimum olasılık teorisinden daha fazla faydalanılabilir.

— whuber
kaynak

Vay canına, teşekkürler! İtiraf etmeliyim ki böyle gelişmiş bir makinenin (en azından benim için) çözüm bulmak için kullanılmasını beklemiyordum.

— atad

Makinelerin gelişmiş veya sofistike olması gerekmez, ancak ne yaparsanız yapın bu örneğin aynı genel hatlarını izlemelisiniz: gelir dağılımı hakkında bir şey varsayalım, bunu matematiksel bir modele sığdırmak için kullanın, modeli makul olup olmadığını kontrol edin ve makul bir uyum, çeyrek hesaplamak için kullanın. Yol boyunca, ilginç yöntemler ortaya çıkarabildiği için grafiksel yöntemler kullanın. (Burada ilgi, düşük gelir diliminde lognormallikten belirgin bir şekilde ayrılmasıdır : Bunun neden olduğunu ve bu nüfus hakkında ne söyleyebileceğini merak ediyorum.)

— whuber

+1, harika cevap. Görünüşe göre henüz R öğrenmem gerekecek.

— dav

8

Yorum yapmak için çok uzun:

whubers'ın cevabı her zamanki gibi iyidir, ancak log-normal modelinde sağ çarpıklığı varsayar. Bu, genel bir nüfus üzerindeki gelirler için gerçekçi olabilir, ancak belirli bir seviyede tek bir işverenin gelirleri için olmayabilir.

$68$ $64$ $50$ $17.5$

$80$ $17.3$

$17$

— Henry
kaynak

1

16

$16$