İstatistikler ve Büyük Veri

Çok fazla zaman serileriyle çalışıyorum. Bu zaman serileri temelde her 10 dakikada bir gelen ağ ölçümleridir ve bazıları periyodiktir (ör. Bant genişliği), bazıları ise değildir (yani yönlendirme trafiği miktarı). Çevrimiçi "outlier" için basit bir algoritma istiyorum. Temel olarak, her bir zaman serisinin tüm geçmiş verilerini hafızada (veya diskte) tutmak istiyorum …

88 time-series  outliers  mathematical-statistics  real-time 

Ben bir istatistik uzmanı değilim, yazılım mühendisiyim. Ancak istatistikler çok fazla geliyor. Aslında, özellikle Tip I ve Tip II hatası ile ilgili sorular, Sertifikalı Yazılım Geliştirme Ön Lisans sınavına girme dersim boyunca çok fazla artmaktadır (matematik ve istatistikler sınavın% 10'udur). Her zaman Tip I ve Tip II hatası için doğru …

88 terminology  type-i-and-ii-errors 

Eğer bir glmer takarsak, modelin yakınsamaya zor anlar yaşadığını söyleyen bir uyarı alabiliriz. >Warning message: In checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, : Model failed to converge with max|grad| = 0.00389462 (tol = 0.001) @Ben Bolker tarafından bu konu tartışılan yakınsama kontrol etmek için başka bir yoludur : relgrad <- …

88 r  mixed-model  lme4-nlme 

Kullanarak bir lojistik regresyon takılması lme4 ile biter Error in mer_finalize(ans) : Downdated X'X is not positive definite. Bu hatanın olası bir nedeni görünüşte eksiklik derecesidir. Rütbe eksikliği nedir ve nasıl ele almalıyım?

87 r  logistic  lme4-nlme 

K-araçlarının denetlendiğini ve kümelenme vb. İçin kullanıldığını ve k-NN'nin denetlendiğini biliyorum. Ama ikisi arasındaki somut farklılıkları bilmek istedim?

86 machine-learning  k-means  k-nearest-neighbour 

Yazılımın Fisher'in kesin test hesaplamasını bugünlerde bu kadar kolay bir şekilde yapabileceği göz önüne alındığında , teorik veya pratik olarak ki-kare testinin Fisher'in kesin testine tercih edildiği herhangi bir durum var mı? Fisher'ın kesin testinin avantajları: 2x2 daha büyük ihtimal tablolara ölçekleme (yani herhangi bir R X C tablo) kesin …

86 chi-squared  contingency-tables  fishers-exact 

Bilinmeyen bir veya karmaşık dağılımından örnek verilerin bir dizi var ve ben bir istatistik bazı çıkarım gerçekleştirmek istediğiniz varsayalım TTT verilerinin. Benim varsayılan eğim sadece değiştirme ile önyükleme örneklerinin bir demet oluşturur ve benim istatistik hesaplamaktır TTT için tahmini dağılımını oluşturmak için her önyükleme numunede TTT . Bunun kötü bir …

86 hypothesis-testing  confidence-interval  bootstrap 

Bir güven aralığının ne olduğunu kabaca ve gayrı resmi olarak biliyorum. Ancak, kafamı oldukça önemli bir ayrıntıya doyamıyorum: Wikipedia'ya göre: Bir güven aralığı, parametrenin gerçek değerinin gerçekte elde edilen veriler göz önüne alındığında verilen güven aralığında olma özelliğine sahip olduğunu tahmin etmemektedir. Aynı zamanda bu sitede birçok yerde benzer noktaları …

86 confidence-interval  definition 

Wiki, çoklu bağlantı doğrusallık regresyonunda bir sorun olduğunda ortaya çıkan sorunları tartışır . Temel problem, çoklu doğrusallık, bağımsız değişkenlerin bağımlı değişkenler üzerindeki etkisinin değerlendirilmesini çok zorlaştıran kararsız parametre tahminleriyle sonuçlanır. Ben sorunları geride teknik nedenleri anlamak (ters çevirmek için mümkün olmayabilir , kötü koşullanmış vs) ama bu sorun için daha …

85 regression  intuition  multicollinearity 

Ana etkileri içermeyen bir modele iki yönlü etkileşim eklemek hiç geçerli mi? Peki ya hipoteziniz sadece etkileşim ile ilgiliyse, yine de ana etkileri dahil etmeniz gerekiyor mu?

85 regression  modeling  interaction  regression-coefficients 

Tüm birinci sınıf istatistik öğrencilerine batırılmış olan "korelasyonun nedensellik anlamına gelmediğini" mantığını hepimiz biliyoruz. Fikri açıklamak için burada bazı güzel örnekler var . Ama bazen korelasyon yapar nedenselliği ima. Aşağıdaki örnek bu Wikipedia sayfasından alınmıştır Örneğin, testlerinde sürekli aynı notları aldığı bilinen tek yumurta ikizleri üzerinde bir deney yapabilir. Bir …

85 correlation  causality 

G van Belle'nin İstatistiksel Kurallar Kuralları kitabını ve daha az ölçüde , Phillip I Good ve James W. Hardin'den İstatistiklerde (ve Onlardan Nasıl Kaçınmalı) Sıkça Hatalar kitabını seviyorum . Deneysel ve gözlemsel çalışmalardan elde edilen sonuçları yorumlarken genel tuzaklara değiniyor ve istatistiksel çıkarım ya da keşifsel veri analizi için pratik …

85 modeling  eda  rule-of-thumb 

Birkaç karışık efekt modeline (özellikle uzunlamasına modellere) uyum sağladım lme4, Rancak modellere ve onlarla birlikte gelen kodlara gerçekten hakim olmak istiyorum. Ancak, iki ayağımla dalmadan önce (ve bazı kitapları satın alırken) doğru kütüphaneyi öğrendiğimden emin olmak istiyorum. Şimdiye lme4kadar kullanmıştım çünkü daha kolay buldum nlme, ancak nlmeamaçlarım için daha uygunsa …

85 r  mixed-model  lme4-nlme 

Medyanın aykırı maddelere karşı dirençli olduğu bilinen bir gerçektir. Bu durumda, ortalamayı ne zaman ve neden kullanalım? Belki de düşünebileceğim bir şey, aykırı değerlerin varlığını anlamaktır; yani, medyan ortalamadan uzaksa, dağıtım çarpıktır ve aykırı değerlerle ne yapılacağına karar vermek için verilerin incelenmesi gerekir. Başka kullanım var mı?

84 mathematical-statistics  mean  median 

Makine öğrenimi konusunda yeniyim ve zaman çizelgesi tahmininde sinir ağını nasıl kullanacağımı bulmaya çalışıyorum. Sorgumla ilgili kaynak buldum, ancak hala biraz kayıp gibi görünüyorum. Çok fazla ayrıntı olmadan temel bir açıklama yapmanın yardımcı olacağını düşünüyorum. Birkaç ay boyunca her ay için bazı fiyat değerlerine sahip olduğumu ve yeni fiyat değerlerini …

83 time-series  forecasting  neural-networks