İstatistikler ve Büyük Veri

Günlük kaza sayısı parametresi ile rastgele bir Poisson değişkenidir , rastgele seçilen 10 günde kaza sayısı 1,0,1,1,2,0,2,0,0,1 olarak gözlemlenmiştir. nın tarafsız bir tahmincisi olabilir mi?λλ\lambdaeλeλe^{\lambda} Bu şekilde denemeye çalıştım: , ancak olduğunu biliyoruz . O zaman gerekli tarafsız tahminci ne olacak?E(x¯)=λ=0.8E(x¯)=λ=0.8E(\bar{x})=\lambda=0.8E(ex¯)≠ eλE(ex¯)≠ eλE(e^{\bar{x}})\neq\ e^{\lambda}

9 self-study  estimation  poisson-distribution 

Merkezi Limit Teoremi ile, büyük bir bağımsız rasgele değişkenlerin toplamının olasılık yoğunluk fonksiyonu bir Normal'e eğilim gösterir. Bu nedenle çok sayıda bağımsız Cauchy rastgele değişkeninin toplamının da Normal olduğunu söyleyebilir miyiz?

9 random-variable  central-limit-theorem  cauchy 

Bir arkadaşım yakın zamanda sıradan en küçük kareler hakkında neyin sıradan olduğunu sordu. Tartışmada hiçbir yere varamadık. İkimiz de OLS'un lineer modelin özel bir durumu, birçok kullanımı olduğu, iyi bildiği ve diğer birçok modelin özel bir durumu olduğu konusunda anlaştık. Ama hepsi bu kadar mı? Bu nedenle bilmek istiyorum: İsim …

9 regression  linear-model  least-squares  terminology 

İyi Gama olmak rastgele değişken tamsayıdır şekil parametresi ile dağıtılan bilinmektedir karelerinin toplamı eşittir , normal olarak rastgele değişkenler dağıtılmış.kkkkkk Ama tam sayı olmayan bir gama dağıtılmış rasgele değişken hakkında ne söyleyebilirim ? Gama dağılımı dışında başka bir yorum var mı?kkk

9 probability  gamma-distribution 

Kısacası sorum: R MICE'ın çalışma süresini iyileştirmek için yöntemler var mı? (Oldukça rasgele) eksik veri içeren bir veri kümesi (30 değişken, 1.3 milyon satır) ile çalışıyorum. 30 değişkenin yaklaşık 15'inde gözlemlerin yaklaşık% 8'i NA içerir. Eksik verileri engellemek için, MICE paketinin bir parçası olan MICE işlevini çalıştırıyorum . Yöntem = …

9 r  multiple-imputation  mice 

in \ mathbf {y olduğu " serbestlik derecelerini" bilmeye alışkınım } \ in \ mathbb {R} ^ n , \ mathbf {X} \ M_ {n \ kat p} içinde (\ mathbb {R}) sıralaması ile tasarım matris r , \ boldsymbol {\ p} \ in \ mathbb { \ Mathbb {R} …

9 t-test  degrees-of-freedom 

Ünlü Fisher'ın deneyinde gözlemlenebilir olan, iki tür ve fincanına sahip düzeltilmiş tahmin edilen fincan sayısıdır . Test büyüklüğü göz önüne alındığında genellikle kritik bölgeyi sıfır hipotezini (bayan rastgele tahmin eder) reddetmek için hesaplamak ilginçtir . Bu, hipergeometrik dağılım kullanılarak kolayca yapılabilir. Aynı şekilde, kritik bölge göz önüne alındığında testin boyutunu …

9 hypothesis-testing  power  fishers-exact 

Birisi bana nasıl benzetileceğini söyleyebilir mi Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right), nerede a,b∈Na,b∈Na,b\in \mathbb{N}, bir bozuk para kullanarak (istediğiniz kadar) P(H)=pP(H)=pP(H)=p ? Reddetme örneklemesi kullanmayı düşünüyordum ama çivilemedim.

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Karar Ağaçları hakkında bir ödev yapıyorum ve cevaplamam gereken sorulardan biri "Ağaçlardan yapılan tahmin ediciler neden önyargılı ve torbalama varyanslarını azaltmaya nasıl yardımcı oluyor?" Şimdi, aşırı takılmış modellerin gerçekten düşük önyargıya sahip olduklarını biliyorum, çünkü tüm veri noktalarına uymaya çalışıyorlar. Ve, Python'da bazı veri kümesine bir ağaç yerleştiren bir senaryom …

9 cart  bias 

Arasında matematiksel bir ilişki var mı: iki ve vektörünün kosinüs benzerliği vesim(A,B)sim⁡(A,B)\operatorname{sim}(A, B)AAABBB ve kosinüs benzerliği , belirli bir matrisi aracılığıyla eşit olmayan bir şekilde ölçeklendirilmiş mi? Burada , diyagonal üzerinde eşit olmayan elemanlara sahip verilen bir diyagonal matristir.sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB)AAABBBMMMMMM Hesaplamaları gözden geçirmeye çalıştım, ancak basit / ilginç bir bağlantıya …

9 linear-algebra  cosine-similarity 

Şu anda Dirichlet süreci rastgele efektler modeline bakıyorum ve model özellikleri şu şekildedir: burada , ölçek parametresidir ve temel ölçümdür. Daha sonra makalede, gibi temel ölçü üzerine bir fonksiyon entegre etmemizi önermektedir.Dirichlet sürecindeki temel ölçü bir cdf mi, yoksa bir pdf mi? Temel önlem bir Gaussian ise ne olur?yiψiG=Xiβ+ψi+ϵi∼G∼DP(α,G0)yi=Xiβ+ψi+ϵiψi∼GG∼DP(α,G0) \begin{align*}y_{i} …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

Daha zorlu deneysel tasarım ve istatistiksel analiz vakalarını kapsayacak kaynakları (tek bir kitap olması gerekmez) arıyorum. Ele alınmasını istediğim bazı durumlar: 1. Rasgeleleştirme birimlerinin analiz birimlerinden farklı olduğu durumlar Örnek: M satıcıları ve N alıcıları ile bir e-ticaret platformu işletiyorum Satıcı düzeyinde bir tedavi sunmak istiyorum, ancak bir alıcının satın …

9 references  experiment-design 

İkinci dereceden kayıp , daha önce verilen burada . Let olasılığı. Bayes tahmincisini bulun .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Ağırlıklı karesel kaybı göz önünde burada ile önceden . Let olması olasılığı artar. Bayes tahmincisini bulun .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Karşılaştırma veδπδπ\delta^\piδπ1δ1π\delta^\pi_1 İlk önce olduğunu fark ettim ve bunun olasılık olduğunu varsaydım, aksi …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

Tıp gibi uygulamalı disiplinlerin öğretiminde, popülasyondaki biyo-tıbbi miktarların ölçümlerinin normal bir "çan eğrisi" ni takip ettiği anlaşılmaktadır. "Normal bir dağıtım olduğunu varsaydık" dizesinde bir Google araması döndürür23,90023,900\small 23,900Sonuçlar! Gibi onlar ses "aşırı veri noktaları az sayıda göz önüne alındığında, biz sıcaklık anomalileri için normal bir dağılım varsayılır" iklim değişikliği bir …

9 normal-distribution  assumptions  normality-assumption  lognormal 

Kendi içinde metin sınıflandırma için autoencoders kağıt Hinton ve Salakhutdinov (yakından PCA ile ilgilidir) 2 boyutlu LSA tarafından üretilen arsa gösterdi: . PCA'yı tamamen farklı hafifçe yüksek boyutlu verilere uygulayarak benzer görünümlü bir çizim elde ettim: (bu durumda gerçekten herhangi bir iç yapı olup olmadığını bilmek istedim). PCA'ya rastgele veri …

9 data-visualization  pca