İstatistikler ve Büyük Veri

Trafik ölçümleri, tahminler vb. İle ilgili çok kullanıcılı bir web uygulaması oluşturmak zorundayım. Bu noktada çubuk ve pasta grafikler kullanacağımı biliyorum. Ne yazık ki, bu grafik türleri topladığım ve hesapladığım tüm verileri ifade etme bakımından zengin değil. Grafik çizelgeleri koleksiyonu arıyorum. Bir kitap veya başka bir şey satın almak zorunda …

10 data-visualization  references 

Değişkenler arasındaki ilişkileri kolayca araştırmak için şimdiye kadar topladığım makalelerdeki korelasyonların grafik temsilini almak istiyorum. Eskiden (dağınık) bir grafik çizerdim ama şimdi çok fazla veri var. Temel olarak, ben bir tablo var: [0]: değişken 1'in adı [1]: değişken 2'nin adı [2]: korelasyon değeri "Genel" matris eksik (örn., V1 * V2, …

10 r  data-visualization  correlation 

GÜNCELLEME: şapka artık foreachdahili olarak kullanıldığından, bu soru artık gerçekten alakalı değildir. İçin çalışan bir paralel arka uç kaydedebilirseniz foreach, caret bunu kullanır. R için düzeltme paketi var ve trainmodellerimi çapraz doğrulamak için işlevi kullanmakta ilginçim. Ancak, işleri hızlandırmak istiyorum ve görünüşe göre, caret paralel işleme için destek sağlıyor. Bir …

10 r  parallel-computing 

Aşağıdaki sorunla ilgili tavsiyelerinizi çok takdir ediyorum: Ben sıfırlar (~% 95) çok büyük bir sürekli veri kümesi var ve bunun bazı alt kümeleri "ilginç" olup olmadığını test etmek için en iyi yolu bulmak gerekir, yani aynı dağıtımdan çizilmiş gibi görünmüyor geri kalan. Sıfır enflasyon, her veri noktasının hem doğru hem …

10 hypothesis-testing 

Sık sık bir weibull dağılımı ile temsil edilen rüzgar hızı verileri histogramım var. Histograma en iyi uyan weibull şekil ve ölçek faktörlerini hesaplamak istiyorum. Amaç ( grafik çözümlerin aksine) sayısal bir çözüm gerekir çünkü amaç weibull formu programlı olarak belirlemektir. Düzenleme: Numuneler her 10 dakikada bir toplanır, rüzgar hızının 10 …

10 distributions  histogram  java 

Büyük bir veri kümesi üzerinde bazı analizleri bitiriyorum. Çalışmanın ilk bölümünde kullanılan doğrusal modeli almak ve doğrusal karışık bir model (LME) kullanarak yeniden takmak istiyorum. LME, modelde kullanılan değişkenlerden birinin rastgele bir etki olarak kullanılması dışında çok benzer olacaktır. Bu veriler, küçük bir gruptaki (~ 10) birçok gözlemden (> 1000) …

10 r  regression  hypothesis-testing  mixed-model  lme4-nlme 

X1 ve X2'de Y'ye gerilediğimi varsayalım, burada X1 sayısal bir değişken ve X2 dört seviyeli bir faktördür (A: D). lm(Y ~ X1 + as.factor(X2))Temel olarak X2 - diyelim ki, B - belirli bir seviyesini seçebilmem için doğrusal regresyon fonksiyonunu yazmanın herhangi bir yolu var mı ?

10 r 

Optimizasyonla ilgili bir araştırma projesi üzerinde çalışıyorum ve yakın zamanda bu ortamda MCMC kullanma fikri vardı. Ne yazık ki, MCMC yöntemlerinde oldukça yeniyim, bu yüzden birkaç sorum vardı. Sorunu tanımlayıp ardından sorularımı sorarak başlayacağım. bir maliyet fonksiyonunun beklenen değerini tahmin burada , yoğunluğuna sahip dimentional rastgele bir değişkendir. .c(ω)c(ω)c(\omega)ω=(ω1,ω2,...ωh)ω=(ω1,ω2,...ωh)\omega = …

10 sampling  mcmc  matlab  expected-value 

Aşağıdaki faktör analizi modeli için bir EM algoritması uygulamak çalışıyorum; Wj= μ + B aj+ ejiçinj = 1 , … , nWj=μ+Baj+ejforj=1,…,nW_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n burada p-boyutlu rastgele vektör, gizli değişkenlerin q-boyutlu bir vektörü ve parametrelerin bir pxq matrisidir.a j BWjWjW_jbirjaja_jBBB Model için kullanılan diğer varsayımların bir sonucu …

10 factor-analysis  expectation-maximization 

Hatırlama neden gerçek negatifleri hesaba katmıyor? Gerçek negatiflerin gerçek pozitifler kadar önemli olduğu deneylerde, bunlar dikkate alınan karşılaştırılabilir bir metrik midir?

10 precision-recall 

Üzerinde çalıştığım bazı hacim rekonstrüksiyon algoritması için, 3B nokta verilerinde (LIDAR cihazından gelen) rasgele sayıda dairesel desen tespit etmem gerekiyor. Desenler uzayda keyfi olarak yönlendirilebilir ve ince 2d düzlemlerde (mükemmel olmasa da) yattığı varsayılabilir. Aynı düzlemde iki daire bulunan bir örnek (bunun bir 3d alan olduğunu unutmayın): Birçok yaklaşım denedim …

10 clustering  image-processing 

Aşağıdaki kısıtlamaları tatmin gerçek sayılar a_i rasgele vektörler oluşturmak gerekir: abs(a_i) < c_i; sum(a_i)< A; # sum of elements smaller than A sum(b_i * a_i) < B; # weighted sum is smaller than B aT*A*a < D # quadratic multiplication with A smaller than D where c_i, b_i, A, B, …

10 random-generation 

Rubik küplerini hobi olarak çözüyorum. Bazı yazılımları kullanarak küpü çözmemin zamanını kaydediyorum ve şimdi binlerce çözücüden verilerim var. Veriler temel olarak her ardışık çözümün aldığı süreyi temsil eden uzun bir sayı listesidir (örn. 22.11, 20.66, 21.00, 18.74, ...) Küpü çözmem için gereken zaman doğal olarak çözmekten çözüme biraz değişir, bu …

10 probability 

Birisi bana Kurtosis hakkında bilgi konusunda yardım edip edemeyeceğini merak ediyordum (yani verilerinizi azaltmak için dönüştürmenin herhangi bir yolu var mı?) Çok sayıda vaka ve değişken içeren bir anket veri setim var. Değişkenlerimden birkaçı için veriler, katılımcıların çoğunun değişken için tam olarak aynı puanı verdiği gerçeğinden türetilen oldukça yüksek basıklık …

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

Japonya'daki son olaylar bana aşağıdakileri düşündürdü. Nükleer Santraller genellikle ciddi kaza riskini 'tasarım temel olasılığı' ile sınırlamak üzere tasarlanmıştır, örneğin, 10E-6 / yıl. Bu, tek bir bitki için kriterdir. Ancak, yüzlerce reaktörden oluşan bir nüfus olduğunda, ciddi bir kazanın bireysel olasılıklarını nasıl birleştiririz? Muhtemelen bunu kendim araştırabileceğimi biliyorum ama bu …

10 probability