İstatistikler ve Büyük Veri

Thru bu sitede Geçenlerde Sankey Diyagramları, bir neler olduğunu görselleştirmek için harika bir yol keşfettim geleneksel akış şeması. İşte George M. Whitesides ve George W. Crabtree , Source'dan bir Sankey Diyagramı örneği ; Enerji , Bilimde Uzun Vadeli Temel Araştırmaları Unutmayın 9 Şubat 2007: Vol. 315. hayır. 5813, sayfa 796-798. …

15 r  data-visualization  sankey-diagram 

Aynı dönemde iki menkul kıymetin (A ve B) fiyat serilerine sahibim ve aynı sıklıkta örnekledim. İki fiyat arasında zaman içinde istatistiksel olarak anlamlı bir fark olup olmadığını test etmek istiyorum (sıfır hipotezim, farkın sıfır olduğu şeklinde olacaktır). Özellikle, fiyat farklılıklarını piyasa verimliliği için bir vekil olarak kullanıyorum. A ve B'nin …

15 time-series  hypothesis-testing  statistical-significance 

1. İstatistikte şapka ve tilde sembolü ile ilgili herhangi bir adlandırma kuralı var mı? Bulduğum β için bir tahmin edici olduğunu anlatan β ( Wikipedia ) Ama aynı zamanda bulundu ~ β için bir tahmin edici olduğunu anlatan p ( Wolfram ). Anlamında herhangi bir fark var mı? Web'de bir …

15 notation 

Aklımda tarafından ayarlanmış R kare formülleri var: Hâlâ SPSS'de kullanılan olduğuna inanıyorum Ezekiel (1930). R2adjusted=1−(N−1)(N−p−1)(1−R2)Radjusted2=1−(N−1)(N−p−1)(1−R2)R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2) Olkin ve Pratt (1958) R2unbiased=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)Runbiased2=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)} Hangi koşullarda (eğer varsa) 'tarafsız' R ^ 2'ye 'ayarlanmış'ı tercih etmeliyim R2R2R^2? Referanslar Hezekiel, M. (1930). Korelasyon …

15 regression  r-squared 

Kilitli . Bu soru ve cevapları kilitlidir çünkü soru konu dışıdır, ancak tarihsel önemi vardır. Şu anda yeni yanıtları veya etkileşimleri kabul etmiyor. R ile bazı analizler yaparken sorun yaşıyorum. Ben böyle bir veri çerçevesi var: Name | Group | Count Person 1 | A | 3 Person 2 | …

15 r 

R ve / veya fonksiyon çıkışı için R kare ( ) istatistiği nasıl hesaplanır ? Örneğin bu veriler için:r2r2r^2loesspredict cars.lo <- loess(dist ~ speed, cars) cars.lp <- predict(cars.lo, data.frame(speed = seq(5, 30, 1)), se = TRUE) cars.lpfitmodel ve se.fitstandart hata için iki diziye sahiptir .

15 r  r-squared  loess 

Buradaki doğrusal model katsayıları hakkında açıklama yaptıktan sonra , faktör seviyesi katsayıları için önemsiz (yüksek p değeri) ile ilgili bir takip sorum var. Örnek: Doğrusal modelim 10 seviyeli bir faktör içeriyorsa ve bu düzeylerden sadece 3'ünde kendileriyle ilişkili önemli p değerleri varsa, modeli Y'yi tahmin etmek için kullanırken, özne önemsiz …

15 statistical-significance  linear-model  model-selection  regression-coefficients  regression-strategies 

CARET, bir son model seçmeden ve daha sonra son modeli tüm eğitim verileri üzerinde eğitmeden önce çeşitli modeller oluşturmak için otomatik olarak önceden belirlenmiş bir ayar ızgarası kullanacaktır. Kendi ayar ızgaramı sadece bir parametre kombinasyonu ile sağlayabilirim. Bununla birlikte, bu durumda bile, CARET ayar parametreleri arasında en iyi modeli "seçer" …

15 r  caret 

Hem SASve ile dengesiz bir faktöriyel denemenin verilerini analiz ediyorum R. Hem SASve Rkareler benzer Tip I toplamını sağlar, ancak kareler onların Tip III toplamı birbirinden farklıdır. Aşağıda SASve Rkodlar ve çıkışları. DATA ASD; INPUT Y T B; DATALINES; 20 1 1 25 1 2 26 1 2 22 1 …

15 r  anova  sas  sums-of-squares 

85 kişiden bazı görevleri üstlenebilmeleri için yanıt topladım. Yanıtlar beş puanlık Likert ölçeğinde: 5 = Çok İyi, 4 = İyi, 3 = Ortalama, 2 = Kötü, 1 = Çok Kötü, Ortalama puan 2.8 ve standart sapma 0.54'tür. Ortalama ve standart sapmanın ne anlama geldiğini anlıyorum. Sorum şu: bu standart sapma …

15 standard-deviation 

"Yapay Zeka Araştırmalarında Satrancın Rolü" ( pdf ) okuyorum ve ilginç bir şekilde şöyle diyor: Deneyim [...] genel olarak yararlı olsa da satranç uzmanlarından gelen girdilere tamamen güvenilemeyeceğini göstermektedir. Bunun iyi bir örneği Derin Düşünce'nin değerlendirme işlevidir. Yetenekli insan satranç uzmanlarının yaptığı bazı değişiklikler önemli gelişmeler üretemedi ve hatta bazen …

15 games  artificial-intelligence 

Her bir veri analizi projesi için istatistiki veri analistlerinin çoğunun analiz sürecini bilmek veya referans almak istiyorum. Bir "liste" yaparsam, veri analizi projesini tamamlamak için bir analistin şunları yapması gerekir: ilk olarak proje için gereksinimleri toplamak, veri analizini daha önce bu gereksinimlere göre planlamak / tasarlamak aslında verilerin ön işleme …

15 project-management 

Bir ödevin parçası olarak , atmosferik kirletici seviyelerini tahmin eden bir genetik programlama algoritması yazmam gerekecek . Deneyimim olmadığı için, biri bana programların yazılacağı programlama dillerinin önerilerine işaret edebilir mi ? Açıklama: Genetik algoritmanın kendisini yazacağım dilin ne olacağını sormuyorum (kararı kendim verebileceğim gibi), gelişen programların hangi programlama dilinde oluşturulması …

15 genetic-algorithms 

Merak ediyorum, LASSO ve LARS model seçim yöntemleri, temelde sadece adım adım ileri seçimin varyasyonları olsa da (bu yüzden yol bağımlılığından muzdarip) neden bu kadar popüler? Benzer şekilde, model seçimi için General to Specific (GETS) yöntemleri, adım adım regresyon probleminden muzdarip olmadıkları için neden LARS / LASSO'dan daha iyi olsalar …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Dizüstü bilgisayarımda yüz binlerce veri noktası ve yaklaşık on bin özellik ile doğrusal bir sınıflandırıcı eğitmem gerekiyor. Seçeneklerim neler? Bu tür bir problem için son teknoloji nedir? Stokastik degrade iniş umut verici bir yön gibi görünüyor ve benim düşüncem bu son teknoloji: "Pegasos: SVM için Primal Tahmini alt GrAdient SOlver" …

15 classification