İstatistikler ve Büyük Veri

Zaman geçtikçe net bir şekilde artan bir veri setim var (bir para biriminin döviz kuru, 20 yıldan fazla aylık veri), sorum şu: Verileri detrend edebilir ve daha sonra, eğer detrending kendi içinde detrending olursa, sabit hale getirmek için de fark edebilir miyim bunu başaramaz mı? Ve eğer öyleyse, bu iki …

12 time-series  stationarity 

Korelasyon, , iki değişken arasındaki doğrusal ilişkinin bir ölçüsüdür. Belirleme, katsayısı r 2 , diğer varyasyon "ile açıklanabilir" ne değişkenlik kadar olabilir tek değişkenli bir ölçüsüdür.rrrr2r2r^2 Örneğin, iki değişken arasındaki korelasyon ise, r 2 = 0.64'tür . Dolayısıyla, birindeki değişkenliğin% 64'ü diğerindeki farklılıklar ile açıklanabilir. Sağ?r = 0.8r=0.8r = 0.8r2= …

12 regression  correlation  r-squared 

Stata sözdizimi ile ilgili bir sorun yaşıyorum. Aşağıdaki regresyonu yapmam gerekiyor: y=ax+bz+c(xz)+ey=ax+bz+c(xz)+ey = ax + bz + c(xz) + e Her iki burada ve z Enstrümante ve aynı zamanda etkileşim terimi X Z ve aletli değerleri kullanır x ve z .xxxzzzxzxzxzxxxzzz Sadece ve z için öngörülen değerleri üretmek ve bunları …

12 stata  interaction  instrumental-variables 

Yeterli istatistiği tam olarak anlamakta sorun mu yaşıyorsunuz? Let yeterli istatistiği olabilir.T= Σ xbenT=ΣxiT=\Sigma x_i Eğer olasılık 1, bir fonksiyonu , daha sonra tam bir yeterli istatistik olur.E[ g( T) ] = 0E[g(T)]=0E[g(T)]=0ggg Peki bu ne anlama geliyor? Üniforma ve Bernoulli örnekleri gördüm (sayfa 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ), ancak sezgisel değil, …

12 self-study  estimation  intuition  decision-theory 

Neden özellik sayısının artırılmasının performansı düşürebileceğine dair bir sezgi kazanmaya çalışıyorum. Şu anda belirli özellikler arasında daha iyi iki değişkenli ancak daha fazla özelliğe bakarken daha kötü performans gösteren bir LDA sınıflandırıcı kullanıyorum. Sınıflandırma doğruluğum tabakalı 10 kat xval kullanılarak gerçekleştirilir. Bir sınıflandırıcının bu yüksek boyutlarda neler olduğuna dair bir …

12 classification  feature-selection 

Sayım verilerini trend, mevsimsel ve düzensiz bileşenlere ayırmak için R'de stl () kullandım. Ortaya çıkan trend değerleri artık tamsayı değildir. Aşağıdaki sorularım var: Stl () sayım verilerini mevsimsellikten arındırmak için uygun bir yöntem midir? Sonuçta ortaya çıkan eğilim artık tamsayı olarak değerlendirilmediğinden, trend bileşenlerini modellemek için lm () kullanabilir miyim?

12 r  time-series  poisson-distribution 

Görsel olarak hem ilginç hem de güzel olan bu harika analize rastladım: http://www.nytimes.com/interactive/2012/11/02/us/politics/paths-to-the-white-house.html Böyle bir "yol ağacı" R kullanılarak nasıl inşa edilebilir merak ediyorum. Böyle bir yol ağacı oluşturmak için hangi veri ve algoritma gerekir? Teşekkürler.

12 r  data-visualization  politics 

Lineer ve kuadratik terim içeren bir Lojistik Regresyon sadece ben varsa doğrusal katsayısı β1β1\beta_1 ve kuadratik katsayısı β2β2\beta_2 , diyebilirim ki orada en olasılık dönüm noktası −β1/(2β2)−β1/(2β2)-\beta_1 / (2\beta_2) ?

12 interpretation  logit  polynomial 

AIC olarak tanımlanır , θ kestirim ve p parametre alanı boyutudur. Θ tahmini içinA IC= - 2 günlük( L ( θ^) ) + 2 pAIC=−2log⁡(L(θ^))+2pAIC=-2 \log(L(\hat\theta))+2pθ^θ^\hat\thetapppθθ\thetagenellikle yoğunluk sabit faktörünü ihmal eder. Bu, olasılığı basitleştirmek için parametrelere bağlı olmayan faktördür. Öte yandan, iç içe olmayan modelleri karşılaştırırken bu faktörün yaygın olmadığı …

12 model-selection  aic  nested-models 

Anladığım kadarıyla, rasgele orman her karar ağacını oluşturmak için rastgele mtry değişkenlerini seçiyor . Yani mtry = ncol / 3 ise, her değişken ağaçların ortalama 1 / 3'ünde kullanılır. Ve ağaçların 2 / 3'ü onları kullanmayacak. Ama tek bir değişkenin muhtemelen çok önemli olduğunu bilersem, bu değişkenin her ağaçta seçilme …

12 r  random-forest  parameterization 

Değişmeyen minimum sayıda özelliğe ve değişebilecek ve sonuç üzerinde büyük etkisi olabilecek birkaç ek özelliğe sahip verilerim var. Veri setim şöyle: A, B, C (daima mevcut) ve D, E, F, G, H (bazen mevcut) A = 10, B = 10, C = 10 outcome = 10 A = 8, B …

12 machine-learning  feature-selection 

Bir arsanın tedavi diğerini kontrol aldığı altı çift parseldeki ağaçların boyut dağılımını karşılaştırıyorum. Her parsel çifti üzerinde Kolmogorov-Smirnov testi kullanarak ila arasında olduğunu görüyorum . KS testinin çoklu örnek uzantısı gibi tüm replikatlarla birlikte başa çıkmak için uygun yöntemler var mı veya uygun bir takip testi var mı? Ya da …

12 nonparametric  kolmogorov-smirnov 

Belirli bir veri kümesi için, yayılma genellikle standart sapma veya IQR (çeyrekler arası aralık) olarak hesaplanır. A standard deviationnormalleştiğinde (z-skorları vb.) Ve bu nedenle iki farklı popülasyondan yayılımı karşılaştırmak için kullanılabilirken, iki farklı popülasyondan alınan numunelerin oldukça farklı iki ölçekte değerleri olabileceğinden, bu IQR için geçerli değildir, e.g. Pop A: …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization 

Bilinen ağırlıkları, ortalamaları ve standart sapmaları olan son derece fazla Gauss'lu bir karışımım olduğunu varsayalım. Araçlar eşit değildir. Tabii ki karışımın ortalama ve standart sapması hesaplanabilir, çünkü momentler bileşenlerin momentlerinin ağırlıklı ortalamalarıdır. Karışım normal bir dağılım değil, normalden ne kadar uzak? Yukarıdaki görüntü, standart sapma (bileşenlerin) ve aynı ortalama ve …

12 normal-distribution  mixture  distance 

Öngörülen bir sınıf değeri ve bir olasılık (örneğin, lojistik regresyon veya Naive Bayes) veren bir sınıflandırıcıdan elde edilen arka olasılığı, bu öngörülen sınıf değerine atanan bir tür güven puanı olarak yorumlayabilir miyiz?

12 probability  logistic  naive-bayes