«large-data» etiketlenmiş sorular

Veri setimin 1'den 1690'a kadar 46840 çift değer içeren bir bölümünü iki grupta inceliyorum. Bu gruplar arasındaki farkları analiz edebilmek için doğru testi seçmek amacıyla değerlerin dağılımını inceleyerek başladım. Normallik testi için bir kılavuzun ardından qqplot, histogram ve boxplot yaptım. Bu normal bir dağılım gibi görünmüyor. Kılavuz, tamamen grafiksel bir …

12 r  normal-distribution  normality-assumption  large-data 

Büyük verilerle hipotez testlerini nasıl yapıyorsunuz? Karışıklığımı vurgulamak için aşağıdaki MATLAB senaryosunu yazdım. Tek yaptığı iki rastgele seri oluşturmak ve bir değişkenin diğerinde basit bir doğrusal regresyonunu çalıştırmaktır. Bu regresyonu farklı rasgele değerler kullanarak birkaç kez gerçekleştirir ve ortalamaları rapor eder. Örnekleme boyutunu büyüttüğümde gerçekleşme eğilimi, ortalama olarak p değerleri …

12 hypothesis-testing  large-data 

Enerji ve hava stokları arasında bir model arıyorum. Avrupa ülkeleri arasında satın alınan MWatt'ın fiyatı ve hava durumu (Grib dosyaları) üzerinde çok fazla değer var. 5 yıllık bir sürede (2011-2015) her saat. Fiyat / gün Bu bir yıl boyunca günlüktür. Bunu 5 yılda saat başı var. Hava örneği Bir saat …

11 time-series  forecasting  predictive-models  modeling  large-data 

Ben, R'deki büyük veri kümeleri üzerinde çeşitli analizler yapmak zorunda olan bir R çayhanıyım. Bu yüzden bu siteye ve başka yerlere bakarken, burada çok fazla ezoterik ve daha az bilinen sorunların olduğu ortaya çıktı - gibi hangi paketin ne zaman kullanılacağı, verilere hangi dönüşümlerin (uygulanmayacağı) uygulanacağı vb. Sadece tüm bu …

11 r  large-data 

Temel bileşen analizi '(PCA) klasik yolu bunu sütunların sıfır ortalaması olan bir giriş veri matrisinde yapmaktır (o zaman PCA "varyansı en üst düzeye çıkarabilir"). Bu sütunları ortalayarak kolayca gerçekleştirilebilir. Bununla birlikte, giriş matrisi seyrek olduğunda, ortalanmış matris artık daha seyrek olacaktır ve - eğer matris çok büyükse - artık belleğe …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Daha iyi sorumu sormak için, bir 16 değişken modeli (hem çıktıların bazı sağladı fit) ve 17 değişken modeli ( fit2aşağıda) (bu modellerde tüm belirleyici değişkenler bu modeller arasındaki tek fark nerede olduğunu, sürekli olan fityapmaz değişken 17 (var17)) içerir: fit Model Likelihood Discrimination Rank Discrim. Ratio Test Indexes Indexes Obs …

10 r  regression  logistic  model-selection  large-data 

Tüm popülasyondaki veriler mevcut olduğunda güven aralıklarını hesaplamak ve hipotezleri test etmek mantıklı mıdır? Bence cevap hayır, çünkü parametrelerin gerçek değerlerini doğru bir şekilde hesaplayabiliriz. Ancak, orijinal popülasyondan yukarıda belirtilen teknikleri kullanmamıza izin veren maksimum veri oranı nedir?

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

Genellikle makul miktarda zaman serisi verileri, 50-200 milyon ilişkili zaman damgalarıyla iki katına çıkar ve bunları dinamik olarak görselleştirmek isterim. Bunu etkili bir şekilde yapmak için mevcut yazılım var mı? Kütüphaneler ve veri formatlarına ne dersiniz? Zoom-cache , büyük zaman serilerine odaklanan bir kütüphane örneğidir. Zoom-cache'de veriler, farklı çözünürlüklerde görüntülenmeyi …

10 time-series  data-visualization  large-data  interactive-visualization 

Çok büyük bir veri kümesine erişimim var. Veriler, dört türden birinden müzikal alıntıları dinleyen insanların MEG kayıtlarından alınmıştır. Veriler aşağıdaki gibidir: 6 Konular 3 Deneysel tekrarlar (çağlar) Dönem başına 120 Deneme 275 MEG kanalından 500Hz'de (= 4000 örnek) deneme başına 8 saniye veri Yani burada her "örnek" [4000x275] boyutunda bir …

10 machine-learning  feature-selection  large-data  feature-construction 

Temel olarak, büyük veri kümelerine karşı öğrenmenin iki yaygın yolu vardır (zaman / alan kısıtlamaları ile karşılaştığınızda): Hile :) - eğitim için sadece bir "yönetilebilir" alt kümesini kullanın. Doğruluk kaybı, azalan getiriler yasası nedeniyle ihmal edilebilir - modelin tahmini performansı, tüm eğitim verileri buna dahil edilmeden çok önce düzleşir. Paralel …

10 machine-learning  large-data  model-evaluation  train 

Veri madenciliği veya büyük verilerde endüstri deneyimim yok, bu yüzden biraz deneyim paylaştığınızı duymak isterim. İnsanlar gerçekten büyük bir veri kümesinde k-ortalamaları, PAM, CLARA, vs. çalıştırıyor mu? Yoksa rastgele bir örnek mi seçtiler? Sadece veri kümesinin bir örneğini alırlarsa, veri kümesi normal olarak dağıtılmazsa sonuç güvenilir olur mu? Bu algoritmaları …

10 clustering  data-mining  k-means  convergence  large-data 

Sadece yüksek boyutlu veri kümelerine Gauss süreç regresyonu (GPR) uygulayan herhangi bir deneyim olup olmadığını görmek istedim. İdeal özellik seçimi parametre seçim sürecinin bir parçası olduğu yüksek boyutlu veri kümeleri için ne işe yarayacağını görmek için çeşitli seyrek GPR yöntemleri (örneğin seyrek sözde girişler GPR) içine bakıyorum. Kağıtlar / kod …

10 machine-learning  predictive-models  large-data  gaussian-process 

Sabit özelliklerin sayısı göz önüne alındığında, Barnes-Hut t-SNE'nin karmaşıklığıO ( n günlüğün )O(nlog⁡n)O(n\log n), rastgele projeksiyonlar ve PCA, çok büyük veri setleri için onları "uygun fiyatlı" yapan karmaşıklığına sahiptir .O ( n )O(n)O(n) Öte yandan, güvenerek yöntemleri boyutlu ölçekleme bir olması karmaşıklığı.O (n2)O(n2)O(n^2) Karmaşıklığı daha düşük olan başka boyut küçültme …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Ölçeklenebilir makine öğrenme algoritmaları bu günlerde vızıltı gibi görünüyor. Her şirket büyük veriden kısa bir şey yapmıyor . Map-Reduce gibi paralel mimariler kullanılarak hangi makine öğrenme algoritmalarının ölçeklendirilebileceğini ve hangi algoritmaların yapılamayacağını tartışan bir ders kitabı var mı? Veya ilgili bazı makaleler?

9 machine-learning  large-data 

Bu makaleden aşağıdaki greftler alınmıştır . Ben bootstrap için acemi ve R bootpaket ile doğrusal karışık model için parametrik, yarı parametrik ve parametrik olmayan bootstrapping bootstrapping uygulamaya çalışıyorum . R Kodu İşte benim Rkod: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography