İstatistikler ve Büyük Veri

Ki kare testi bir örnek beklenen değerler kümesinden önemli ölçüde farklı olup olmadığını görmek için yararlı okudum. Örneğin, insanların en sevdiği renkler hakkında bir anketin sonuç tablosu (n = 15 + 13 + 10 + 17 = 55 toplam katılımcı): red,blue,green,yellow 15,13,10,17 Bir ki-kare testi bana bu örneğin her rengi …

13 chi-squared  hypothesis-testing  proportion 

Belli bir sinyalin kayıtlı genlik maksimumunun örnek popülasyonuna sahibim. Nüfus yaklaşık 15 milyon örnektir. Nüfusun bir histogramını oluşturdum, ancak böyle bir histogramla dağılımı tahmin edemiyorum. EDIT1: Ham örnek değerleri olan dosya burada: ham veri Herkes aşağıdaki histogramla dağılımı tahmin etmeye yardımcı olabilir:

13 distributions  histogram 

Aynı hisse senedi endeksinin gecikmeli (12 aylık) Yıllık getiri getirilerinin, kredi marjının (aylık risksiz tahvillerin ortalaması ile kurumsal tahvilin farkı arasındaki farklar) gerileyen bir regresyon modeli görüyorum verimler), Yıllık enflasyon enflasyonu ve yıllık üretim endeksi. Öyle görünüyor (bu durumda Hindistan'a özgü verileri alt üstlasanız da): SP500YOY(T) = a + b1*SP500YOY(T-12) …

13 regression  time-series  autocorrelation 

Regresyonda bağımsız bir değişken olarak yön verilerinin (derece cinsinden yön ölçüsü) kullanılması konusunda iyi referanslar arıyorum; ideal olarak, hiyerarşik doğrusal olmayan modeller için de yararlı olacaktır (veriler iç içe yerleştirilmiştir). Aynı zamanda daha genel olarak yön verisi ile ilgileniyorum. Mardia'dan alacağım bir metin buldum, ancak iyi makaleler olup olmadığını merak …

13 circular-statistics 

Bugün röportajda buna benzer bir şey sordum. Görüşmeci, volatilite sonsuza gitme eğilimi gösterdiğinde paranın karşılığını alma ihtimalinin ne olduğunu bilmek istiyordu. % 0 dedim, çünkü Black-Scholes modelinin ve rastgele yürüme hipotezinin altında yatan normal dağılımlar sonsuz varyansa sahip olacak. Ve böylece tüm değerlerin olasılığının sıfır olacağını düşündüm. Görüşmeci doğru cevabın% …

13 normal-distribution  variance 

Diyelim ki veX∼N(μx,σ2x)X∼N(μx,σx2)X \sim \mathcal{N}(\mu_x, \sigma^2_x)Y∼N(μy,σ2y)Y∼N(μy,σy2)Y \sim \mathcal{N}(\mu_y, \sigma^2_y) İlgileniyorum . Z için tarafsız bir tahminci var mı ?z=min(μx,μy)z=min(μx,μy)z = \min(\mu_x, \mu_y)zzz Basit tahmin \ dak (\ çubuğu {x} \ çubuğu {y}) \ çubuğu {x} ve \ çubuğu {y} örnek araçlardır X ve Y , örneğin, bastırılmaktadır (tutarlı olsa da). …

13 random-variable  unbiased-estimator  minimum 

"OLS" ölçüm hatası modelini tahmin etmek için kullanılabilecek yöntemler arıyorum. x i = X i + e x , i Y i = α + β X iyi=Yi+ey,iyi=Yi+ey,iy_{i}=Y_{i}+e_{y,i} xi=Xi+ex,ixi=Xi+ex,ix_{i}=X_{i}+e_{x,i} Yi=α+βXiYi=α+βXiY_{i}=\alpha + \beta X_{i} Hataların bağımsız olduğu ve bilinmeyen varyansların olduğu ve . "Standart" OLS bu durumda çalışmaz. σ 2 xσ2yσy2\sigma_{y}^{2}σ2xσx2\sigma_{x}^{2} …

13 regression  estimation  errors-in-variables 

bu benim ilk yazım. Bu topluluk için gerçekten minnettarım. Sıfır kesilmiş (yanıt değişkeni = 0 olması olasılığı) uzunlamasına sayım verilerini ve ortalama! = Varyansı analiz etmeye çalışıyorum, bu nedenle bir poisson üzerinde negatif bir binom dağılımı seçildi. Dışarıda bıraktığım işlevler / komutlar: R, R'deki gee () işlevi sıfır kesmeyi veya …

13 r  stata  count-data  panel-data  truncation 

Verilen bir olasılıkları ve çiftleri için bir n-değişken Bernoulli dağıtım bir olayın olasılığı için bir formüle ihtiyacım var . Aynı şekilde ortalamasını ve kovaryansını verebilirim . P ( X i = 1 ) = p i P ( X i = 1 ∧ X j = 1 ) = p …

13 multivariate-analysis  discrete-data 

Verileri gruplara ayırmayı deniyorum. Bu konuda oldukça yeniyim ve bazı analizlerin çıktılarını anlamaya çalışıyorum. Quick-R'den örnekler kullanarak çeşitli Rpaketler önerilir. Ben ( fpcve kmeansişlevini kullanarak) bu paketlerin iki kullanmayı denedim mclust. Bu analizin anlamadığım bir yönü sonuçların karşılaştırılmasıdır. # comparing 2 cluster solutions library(fpc) cluster.stats(d, fit1$cluster, fit2$cluster) fpc Kılavuzun ilgili …

13 r  clustering 

LASSO probleminin katsayılarını almak istiyorum | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Sorun glmnet ve lars fonksiyonlarının farklı cevaplar vermesidir. Glmnet fonksiyonu için sadece λ yerine , ama yine de farklı cevaplar alıyorum.λ / | | Y| |λ/||Y||\lambda/||Y||λλ\lambda Bu bekleniyor mu? Lars arasındaki ilişki nedir ve …

13 r  machine-learning  regression  lasso  regularization 

Veriler: Son zamanlarda, rüzgar enerjisi üretim tahmin hatalarının uzaysal-zamansal alanının stokastik özelliklerini analiz etmek için çalıştım. Resmi olarak, bir işlem iki kez ( ve ) dizinlenmiş ve bir kez boşluk ( ) içinde ileriye doğru bakma sayısıdır (etrafındaki bir şeye eşittir) , düzenli olarak örneklenir), "tahmin sürelerinin" sayısıdır (yani, tahminin …

13 forecasting  data-mining  stochastic-processes  spatial  spatio-temporal 

Kısa bir süre önce mühendislik matematiği ile birlikte tıbbi ve biyolojik modelleme üzerine yüksek lisansımı bitirdim. Eğitim programım oldukça yüksek notlarla yönettiğim matematik istatistikleri üzerine önemli miktarda ders içermesine rağmen (bir liste için aşağıya bakın), genellikle istatistik teorisine ve uygulamalarına bakarken tamamen kayboldum. Şunu söylemeliyim ki, "saf" matematiğe kıyasla, istatistikler …

13 mathematical-statistics  bioinformatics  computational-statistics 

Bir takım oyuncularım var. Birbirlerine karşı oynarlar (çift olarak). Çift oyuncular rastgele seçilir. Herhangi bir oyunda, bir oyuncu kazanır ve diğeri kaybeder. Oyuncular birbirleriyle sınırlı sayıda oyun oynarlar (bazı oyuncular daha fazla oyun, bazıları daha az oyun oynar). Yani verilerim var (kim kime ve kaç kez kazanır). Şimdi her oyuncunun …

13 goodness-of-fit  ranking  rating 

Kümülatif bir çaba olarak bilim için sıfır hipotez testinin (NHT) kullanımını eleştiren büyüyen istatistikçi ve araştırmacılara yanıt olarak, Amerikan Psikoloji Derneği İstatistiksel Çıkarım Görev Gücü, NHT'yi açıkça yasaklamayı önledi, ancak bunun yerine araştırmacıların NHT'den türetilen p değerlerine ek olarak etki büyüklüklerini bildirir. Bununla birlikte, etki boyutları çalışmalarda kolayca birikmez. Meta-analitik …

13 bayesian  confidence-interval  effect-size  inference