İstatistikler ve Büyük Veri

Zaman serisi verilerini analiz etmek için hiyerarşik kümeleme kullanıyorum. Kodum, aşağıdaki girdiler verildiğinde hiyerarşik kümeler oluşturan Mathematica işlevi kullanılarak uygulanır DirectAgglomerate[...]: bir mesafe matrisi D kümeler arası bağlantıyı belirlemek için kullanılan yöntemin adı. Manhattan mesafesini kullanarak D mesafe matrisini hesapladım: d(x,y)=∑i|xi−yi|d(x,y)=∑i|xi−yi|d(x,y) = \sum_i|x_i - y_i| burada ve zaman serilerimdeki veri …

15 clustering  distance-functions  ward 

Afinite Yayılım algoritmasını kullanarak olasılık dağılımlarını kümeliyorum ve Jensen-Shannon Divergence'ı mesafe ölçümüm olarak kullanmayı planlıyorum. JSD'nin kendisini mesafe olarak kullanmak doğru mu, yoksa JSD karesi mi? Neden? Birini veya diğerini seçmekten ne gibi farklılıklar doğurur?

15 machine-learning  clustering  entropy  distance-functions 

Eşleştirilmiş t-testi nedir ve hangi koşullarda eşleştirilmiş t-testi kullanmalıyım? Eşleştirilmiş t-testi ile çift t-testi arasında herhangi bir fark var mı?

15 hypothesis-testing  anova  t-test 

Birisi beni Bayesci istatistiklerle üretken modelleme teknikleri arasındaki bağlantıyı açıklayan iyi bir referansa yönlendirebilir mi? Neden genellikle Bayesci tekniklerle üretken modeller kullanıyoruz? Neden tam veri yokluğunda Bayesian istatistiklerini kullanmak özellikle caziptir? Daha makine öğrenimi odaklı bir bakış açısıyla geldiğimi ve bunun hakkında istatistik topluluğundan daha fazla okumak istediğimi unutmayın. Bu …

15 bayesian  generative-models 

'Çok değişkenli dağılımı' anlama olasılığı daha yüksek olan bir kitle için 'ortak olasılık dağılımı' kullanma hakkında yazıyorum, bu yüzden daha sonra kullanmayı düşünüyorum. Ancak bunu yaparken anlamını kaybetmek istemiyorum. Wikipedia bunların eş anlamlı olduğunu gösteriyor. Öyle mi? Değilse, neden olmasın?

15 probability  terminology  joint-distribution  definition 

Günlük grafikte birden çok veri sütunu için saatlik araçları nasıl elde edersiniz ve aynı grafikte on iki "Ana Bilgisayar" için sonuçları nasıl gösterirsiniz? Yani, 24 saatlik bir sürenin neye benzediğini, bir haftalık veri için grafik olarak göstermek istiyorum. Nihai amaç, örneklemeden önce ve sonra bu verilerin iki kümesini karşılaştırmak olacaktır. …

15 r  time-series  aggregation 

Şu anda bir deney için ağrı deneyimiyle ilişkili psikososyal özellikler hakkında veri topluyorum. Bunun bir parçası olarak, GSR ve KB ölçümlerini çeşitli öz-rapor ve örtülü tedbirlerle birlikte katılımcılarımdan elektronik olarak topluyorum. Psikolojik bir geçmişim var ve faktör analizi, doğrusal modeller ve deneysel analiz konusunda rahatım. Benim sorum, zaman serisi analizini …

15 r  time-series  references 

Üstel ağırlıklı hareketli ortalamaları ve bir işlemin standart sapmalarını hesaplamak için iyi bilinen çevrimiçi formüller vardır (xn)n=0,1,2,…(xn)n=0,1,2,…(x_n)_{n=0,1,2,\dots} . Ortalama olarak, μn=(1−α)μn−1+αxnμn=(1−α)μn−1+αxn\mu_n = (1-\alpha) \mu_{n-1} + \alpha x_n ve varyans için σ2n=(1−α)σ2n−1+α(xn−μn−1)(xn−μn)σn2=(1−α)σn−12+α(xn−μn−1)(xn−μn)\sigma_n^2 = (1-\alpha) \sigma_{n-1}^2 + \alpha(x_n - \mu_{n-1})(x_n - \mu_n) standart sapmayı hesaplayabilirsiniz. Üstel ağırlıklı üçüncü ve dördüncü merkezi anların …

15 moments  online  kurtosis 

4 CPU'lu bir Ubuntu-Lucid PC'de GNU R kullanıyorum. 4 CPU'nun tümünü kullanmak için "r-cran-multicore" paketini kurdum. Paketin el kitabında anladığım pratik örnekler bulunmadığından, 4 CPU'nun tamamını kullanmak için komut dosyamı nasıl optimize edeceğime dair tavsiyeye ihtiyacım var. Veri setim, 50.000 satır ve 1600 sütun içeren bir data.frame (P1 olarak adlandırılır). …

15 r 

Jeffrey Wooldridge, Kesit ve Panel Verilerinin Ekonometrik Analizinde (sayfa 357), ampirik Hessian'ın "birlikte çalıştığımız örnek için pozitif kesin, hatta pozitif semidefinit olması garanti edilmediğini" söylüyor. Hessian, M-tahmin edicisinin, verilen örnek için objektif fonksiyonu en aza indiren parametrenin değeri olarak tanımlanması sonucunda Hessian'ın pozitif semidefinit olması gerektiği için benim için yanlış …

15 estimation  maximum-likelihood  econometrics  asymptotics 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. 4 yıl önce kapalı . Kilitli . Bu soru ve cevapları kilitlidir çünkü soru konu dışıdır, ancak tarihsel önemi vardır. Şu anda yeni yanıtları veya etkileşimleri kabul etmiyor. R'de nesne yönelimli programlama hakkında iyi öğreticiler var mı? Aşağıdakileri içermesi …

15 r 

Bu terimler çok fazla atılıyor, ancak eğer varsa, farklılıkların ne olduğunu düşündüğünüzü bilmek istiyorum. Teşekkürler

15 pca  text-mining  svd 

Her ikisi de n uzunluğunda iki x ve y dizisi göz önüne alındığında, y = a + b * x modeline uyuyorum ve eğim için% 95 güven aralığı hesaplamak istiyorum. Bu, b'nin olağan şekilde bulunduğu ve delta = qt(0.975,df=n-2)*se.slope ve se.slope, eğimdeki standart hatadır. R'den eğimin standart hatasını almanın bir …

15 r  regression  bayesian  confidence-interval  frequentist 

Diye sordum bu soruyu matemathics Stack Exchange sitesinde ve burada sormak önerildi. Bir hobi projesi üzerinde çalışıyorum ve aşağıdaki sorunla ilgili yardıma ihtiyacım var. Biraz bağlam Diyelim ki özelliklerin açıklaması ve fiyatı olan bir öğe koleksiyonu var. Arabaların ve fiyatların bir listesini düşünün. Tüm otomobiller, motor boyutu, renk, beygir gücü, …

15 regression  forecasting  econometrics 

"İstatistiksel Öğrenmenin Unsurları" (2. baskı), s63'te, yazarlar sırt regresyon probleminin aşağıdaki iki formülasyonunu verirler: β^r i dge= argminβ{ ∑i = 1N-( yben- β0- ∑j = 1pxben jβj)2+ λ ∑j = 1pβ2j}β^rbendge=argminβ{Σben=1N-(yben-β0-Σj=1pxbenjβj)2+λΣj=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} ve β^r i dge= argminβΣi = 1N-( …

15 ridge-regression