İstatistikler ve Büyük Veri

12 öğretmen 600 öğrenciye ders vermektedir. Bu öğretmenler tarafından öğretilen 12 kohortun büyüklüğü 40 ila 90 öğrenci arasında değişmektedir ve yüksek lisans öğrencileri belirli kohortlara orantısız olarak ayrıldığından ve kohortlar arasında sistematik farklılıklar beklemekteyiz ve daha önceki deneyimler, lisansüstü öğrencilerin ortalama puandan önemli ölçüde daha yüksek olduğunu göstermiştir. lisans öğrencileri. …

9 teaching  agreement-statistics 

2 rastgele normal değişkenin doğrusal bir kombinasyonunun da rastgele normal bir değişken olduğu iyi bilinmektedir. Bu mülkü paylaşan normal olmayan yaygın dağıtım aileleri (ör. Weibull) var mı? Birçok karşı örnek var gibi görünüyor. Örneğin, üniformaların doğrusal bir kombinasyonu tipik olarak tek tip değildir. Özellikle, aşağıdakilerin her ikisinin de geçerli olduğu …

9 distributions  linear 

Bu nedenle, eğlence için, çalıştığım çağrı merkezinden gelen bazı çağrı verilerini alıyorum ve bunlarda bazı hipotez testleri yapmaya çalışıyorum, özellikle bir hafta içinde alınan çağrıların sayısı ve buna uygun bir Poisson dağılımı kullanıyorum. İşimin konusu nedeniyle iki tür hafta var, bunlardan birini daha fazla çağrı olduğunu varsaydığım haftalarda, diyelim ki …

9 hypothesis-testing  poisson-distribution 

Bugün James Stone'un "Bilgi teorisi: Bir öğretici tanıtımı" kitabına rastladım ve uygulamalı veri biliminde bilgi teorisinin kullanım derecesi hakkında bir iki dakika düşündüm (bu hala biraz bulanık terimden memnun değilseniz, IMHO veri biliminin yüceltilmiş bir versiyonu olduğu veri analizini düşünün ). Bilgi teorisi temelli yaklaşımların , yöntemlerin ve önlemlerin , …

9 information-theory 

Sadece eğlence için, aylık hane halkı elektrik tüketimimi yıldan yıla grafiklendirmek istiyorum. Bununla birlikte, aylık sıcaklığa bir miktar referans vermek istiyorum, böylece evimin veya davranışımın kWh kullanımı ile ilgili olarak iyileştiğini, kötüleştiğini veya sabit olup olmadığını belirleyebiliyorum. Çalıştığım veriler: +----------+--------+-----------+----------------+----------+-----------+------------+ | Month | # Days | kWh Usage | Daily …

9 data-visualization 

6 taraflı bir kalıp tekrarlı olarak yuvarlanır. K değerine eşit veya daha büyük bir toplam yapmak için gereken rulo sayısı kaçtır? Düzenlemeden Önce P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in exactly 2 rolls)=2/6 P(Sum>=3 in …

9 self-study  mean  expected-value  dice  saddlepoint-approximation 

Düşünüyordum çünkü X, YX,YX, Yvardır ve daha sonra, bağımsızN-( 0 , 1 )N(0,1)N(0,1) X- 2 YX−2YX - 2Y dağılımı vardır . Daha sonra , olasılığına sahiptir .N-( 0 , 5 )N(0,5)N(0, 5)X- 2 Y> 0X−2Y>0X-2Y > 01 / 21/21/2 Yukarıdakiler benim için doğru görünüyor, ancak olasılığı olacak gibi görünüyor . …

9 probability  normal-distribution 

Bazen regresörlerin sabit olduğunu, yani stokastik olmadığını varsayıyoruz. Ben düşünüyorum anlama geldiğini tüm belirleyicileri, parametre tahminleri vb sonra sağ koşulsuz vardır? O kadar ileri gidebilirim ki artık rastgele değişken değiller mi? Öte yandan, iktisattaki çoğu gerilemecinin stokastik olduğunu söyleriz, çünkü dış güçler bunları bazı deneyleri akılda tutarak belirlemedi. Ekonometristler daha …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Birincil hedefin verileri anlamak olduğu bir analiz yapıyorum. Veri kümesi çapraz doğrulama için yeterince büyüktür (10k) ve öngörücüler hem sürekli hem de kukla değişkenleri içerir ve sonuç süreklidir. Ana hedef, modelin daha kolay yorumlanmasını sağlamak için bazı öngörücüler çıkarmanın mantıklı olup olmadığını görmekti. Sorular: Benim sorum “hangi değişkenler sonucu açıklar …

9 lasso  explanatory-models 

Aşağıdaki gibi yapılan temel bileşen analizi çıktısını anlamaya çalışıyorum: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9 1.7 …

9 r  pca  interpretation 

Muhtemelen aptalca bir sorum var, itiraf etmeliyim, kafam karıştı. Bazı boyutlarında düzgün dağılmış rastgele dik (ortonormal) matrisin tekrar tekrar üretildiğini düşünün . Bazen üretilen matris determinant , bazen de determinant . (Yalnızca iki olası değer vardır. Dikey dönüş açısından , dönüşün yanı sıra bir ek yansıma olduğu anlamına gelir.)ppp111−1−1-1det=−1det=−1\det=-1 Biz …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

OLS'nin doğrusal regresyon ortamında heteroseladastisite altında tarafsız fakat etkili olmadığını biliyorum. Wikipedia'da http://en.wikipedia.org/wiki/Minimum_mean_square_error MMSE tahmincisi asimptotik olarak tarafsızdır ve dağıtımda normal dağılıma yakınsar: , burada I (x) x'in Fisher bilgisidir. Bu nedenle, MMSE tahmincisi asimptotik olarak etkilidir.n--√(x^- x )→dN-( 0 ,ben- 1( x ) )n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , …

9 least-squares  heteroscedasticity  efficiency 

Şu anda R'den JAGS kullanarak hiyerarşik Bayesian modelleri ve ayrıca Python ( "Hackerlar için Bayesian Yöntemleri" ) kullanarak pymc öğreniyorum . Bu yazıdan biraz sezgi alabilirim : "sanki", bir şekilde bilmek istediğiniz karmaşık dağıtımdan bağımsız örnekler almayı başarmış gibi görünen bir yığın sayı ile sonuçlanacaksınız. " Koşullu olasılığı verebileceğim gibi …

9 bayesian  mcmc  expectation-maximization 

Buradaki bir yorumda @gung yazdı, Ben biraz üst üste gelebilir inanıyorum (belki ~% 25) ve hala% 5 düzeyinde önemli olabilir. Gördüğünüz% 95 CI'nin bireysel OR için olduğunu, ancak 2 OR'nin testinin aralarındaki farkla ilgili olduğunu unutmayın. Bununla birlikte, hiç örtüşmezlerse, kesinlikle önemli ölçüde farklıdırlar ve% 95 CI diğer OR nokta …

9 logistic  confidence-interval  odds-ratio  references 

Gauss Karışımı modelini inceliyorum ve bu soruyu kendim buluyorum. Altta yatan verinin, KKK Gauss dağılımı ve her birinin ortalama bir vektörü vardır μk∈Rpμk∈Rp\mu_k\in\mathbb{R}^p, nerede 1≤k≤K1≤k≤K1\leq k\leq K ve her biri aynı eş varyans matrisine sahip ΣΣ\Sigma ve varsayalım ΣΣ\Sigmaçapraz bir matristir. Ve karıştırma oranının1/K1/K1/Kyani her küme aynı ağırlığa sahiptir. Bu …

9 self-study  expectation-maximization  gaussian-mixture  consistency