İstatistikler ve Büyük Veri

Biraz kafam karıştı. Birisi bana iki terim arasındaki karşılıklı bilginin, ikili terim olarak ağırlıklar içeren bir terim belgesi matrisine dayalı olarak nasıl hesaplanacağını açıklayabilir mi? D e c u m e n t 1D e c u m e n t 2D e c u m e n t 3'Wh …

10 python  information-theory  mutual-information  numpy  pandas 

Daha fazla istatistik öğrenmeye çalışan bir yazılım mühendisi olduğum için, başlamadan önce beni affetmen gerekecek, bu ciddi yeni bölge ... Ben öğrenme been PyMC ve bazı gerçekten (gerçekten) basit örnekleri çalışma. Çalışamadığım (ve ilgili örnekleri bulamadığım) bir problem, iki normal dağılımdan üretilen verilere bir model uydurmaktır. Diyelim ki 1000 değerim …

10 modeling  python  pymc 

Hem lojistik fonksiyon hem de standart sapma genellikle gösterilir . Standart sapma için ve kullanacağım .σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))sss Ben ortalama ve standart sapma biliyorum rastgele bir giriş ile bir lojistik nöron var . Umarım ortalamadaki fark bazı Gauss gürültüsü ile iyi bir şekilde tahmin edilebilir. Dolayısıyla, hafif bir gösterim kötüye …

10 distributions  normal-distribution  neural-networks  mathematical-statistics  expected-value 

Dizi analizinde yeniyim ve Optimal Eşleştirme tabanlı benzerlik matrislerinin küme analizlerinden ortalama siluet genişlikleri (ASW) düşükse (yaklaşık 25) nasıl tepki verdiğinizi merak ediyordum. Dizilerin kümelenmesini sağlayacak altta yatan küçük bir yapı olduğu sonucuna varmak uygun görünebilir mi? Diğer küme kalitesi ölçülerine dayalı olarak düşük ASW'yi yok sayabilir misiniz (aşağıda bazılarını …

10 clustering  traminer 

Lee ve Lemieux (s. 31, 2009), araştırmacıya Regresyon süreksizlik tasarım analizi (RDD) yaparken grafikleri sunmalarını önermektedir. Aşağıdaki prosedürü önerirler: "... bazı bant genişlikleri için ve sırasıyla kesme değerinin solunda ve sağında bir dizi ve , ( , ], + ; burada "K 0 K 1 b k b k + …

10 r  regression  data-visualization  stata  regression-discontinuity 

Deneysel sezginin haftalık bir mevsimsellik beklemem gerektiğini söylediği bir veri setim var (yani, cumartesi ve pazardaki davranış haftanın geri kalanından farklıdır). Bu önermenin doğru olması gerekir mi, otokorelasyon grafiği bana 7'nin kat katlarında patlama yapmamalı mı? Verilerin bir örneği: data = TemporalData[{{{2012, 09, 28}, 19160768}, {{2012, 09, 19}, 19607936}, {{2012, …

10 time-series  autocorrelation  forecasting 

Görselleştirmem gereken bazı verilerim var ve bunu en iyi nasıl yapacağımdan emin değilim. Bazı temel öğeleri ile ilgili ve çıktıları var . Şimdi yöntemimin düşük frekanslı öğeleri ne kadar iyi bulduğunu (yani 1 sonuç) çizmem gerekiyor. Başlangıçta sadece bir x-ekseni frekansı ve 0-1 ay ekseni ile nokta çizimleri vardı, ama …

10 data-visualization 

Bir web sunucusunun günlüklerine sahip olduğunuzu varsayalım. Bu günlüklerde bu tür tupl'ler var: user1, timestamp1 user1, timestamp2 user1, timestamp3 user2, timestamp4 user1, timestamp5 ... Bu zaman damgaları, örneğin kullanıcıların tıklamalarını temsil eder. Şimdi, user1siteyi ay boyunca birden çok kez (oturumlar) ziyaret edecek ve her oturum sırasında her kullanıcının tıklamalarını alacaksınız …

10 distributions  estimation  mixture 

İki bağımsız rastgele değişkenimiz X1∼Binom(n,p)X1∼Binom(n,p)X_1 \sim \mathrm{Binom}(n,p) ve X2∼Pois(λ)X2∼Pois(λ)X_2 \sim \mathrm{Pois}(\lambda) ise, olasılık kütle fonksiyonu X1+X2X1+X2X_1 + X_2nedir? Not: Bu benim için bir ödev değil.

10 distributions  self-study  binomial  poisson-distribution 

SPSS'de faktör analizi yoluyla koyduğum 20 değişkenim var. Araştırma amacıyla 6 faktör geliştirmem gerekiyor. SPSS, 8 değişkenin (20 üzerinden) düşük ağırlıklarla yüklendiğini veya çeşitli faktörler tarafından eşit olarak yüklendiğini gösterdi, bu yüzden onları kaldırdım. Kalan 12 değişken, 6 faktörde 2 çift olarak yüklendi, bu da mükemmel bir yapı - tıpkı …

10 spss  factor-analysis  references  assumptions 

Elimdeki sorunu olabildiğince genel olarak anlatmaya çalışacağım. Gözlemleri bir parametre olasılık vektör tetası ile kategorik dağılım olarak modelleniyorum . Sonra parametre vektör teta parametreleri ile bir Dirichlet önceki dağıtımını .α1, α2, … , Αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k Bu durumda parametreleri üzerine hiperprior dağılımı da uygulamak mümkün ? Kategorik ve dirichlet dağılımları gibi çok …

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

Bana önerilen bir yöntem, bir eğri çizgi grafiğine bakmak ve kullanılacak doğru PC sayısını belirlemek için "dirsek" olup olmadığını kontrol etmektir. Ancak grafik net değilse, R'nin sayıyı belirlemek için bir hesaplaması var mı? fit <- princomp(mydata, cor=TRUE)

10 r  pca 

Xi∽iidN(0,1)Xi∽iidN(0,1)X_i \overset{iid}{\backsim} \mathcal{N}(0, 1)i=1,...,ni=1,...,ni = 1, ..., nSn=1n∑i=1nXiSn=1n∑i=1nXi\begin{equation} S_n = \frac{1}{n} \sum_{i=1}^n X_i \end{equation}Tn=1n∑i=1n(X2i−1)Tn=1n∑i=1n(Xi2−1)\begin{equation} T_n = \frac{1}{n} \sum_{i=1}^n (X_i^2 - 1) \end{equation} SnSnS_nTnTnT_nn=1n=1n = 1n−−√SnnSn\sqrt{n} S_nn−−√TnnTn\sqrt{n} T_nn→∞n→∞n \rightarrow \infty Motivasyon: Soru için motivasyonum, ve olduğunda mükemmel bir şekilde bağımlı olduğu garip (ama harika) hissetmesinden kaynaklanıyor, ancak çok değişkenli anlamı bağımsızlığa …

10 normal-distribution  multivariate-analysis  independence  central-limit-theorem  joint-distribution 

Hamileliğin bir hastalığın sonucu üzerindeki etkisini modelliyorum (ölü canlı). Hastaların yaklaşık% 40'ı tanıdan sonra gebe kalmıştır - ancak farklı zamanlarda. Şimdiye kadar gebeliğin sağkalım üzerine açık bir koruyucu etkisi ve aynı zamanda düzenli bir Cox modeli gösteren KM grafikleri yaptım - ancak bunlar sadece ikiye bölünmüş bir gebelik değişkeni kullanılarak …

10 survival 

Ana sorun : EViews ve R ile benzer parametre tahminleri elde edemiyorum. Kendimi bilmediğim nedenlerden ötürü, EViews kullanarak belirli veriler için parametreleri tahmin etmem gerekiyor. Bu, NLS (doğrusal olmayan en küçük kareler) seçeneği seçilerek ve aşağıdaki formül kullanılarak yapılır:indep_var c dep_var ar(1) EViews istemlerde : bunlar AR lineer tahmin ki …

10 r  autoregressive  software