İstatistikler ve Büyük Veri

Gauss Markov varsayımlarına göre sıradan en küçük kareler yönteminin verimli ve tarafsız tahmin ediciler verdiği doğru mu? Yani: E(ut) = 0E(ut)=0E(u_t)=0 hepsi için ttt E(utus) =σ2E(utus)=σ2E(u_tu_s)=\sigma^2 için t = st=st=s E(utus) = 0E(utus)=0E(u_tu_s)=0 için t ≠ st≠st\neq s nerede uuu artıklar.

9 regression  self-study  least-squares 

İkili değişkenler kümesine dayalı bir gözlem örneğini kümelemek için gizli sınıf analizi kullanıyorum. R ve poLCA paketini kullanıyorum. LCA'da, bulmak istediğiniz küme sayısını belirtmeniz gerekir. Pratikte, insanlar genellikle her biri farklı sayıda sınıf belirten birkaç model çalıştırır ve daha sonra verilerin hangisinin "en iyi" açıklaması olduğunu belirlemek için çeşitli kriterler …

9 data-visualization  mixture  latent-class 

Doğrusal bir regresyon modelini öğrenmeye çalışıyorum. Ancak, verilerin normalleştirilmesi ile ilgili bazı karışıklıklarım var. Özellikleri / yordayıcıları sıfır ortalama ve birim varyansına normalleştirdim. Hedef için de aynısını yapmam gerekiyor mu? Öyleyse neden?

9 regression  multiple-regression  normalization 

Wikipedia'da Guass-Markov teoremini okuyorum ve birinin teoremin ana noktasını bulmama yardım edebileceğini umuyordum. Matris biçiminde doğrusal bir model olduğunu varsayıyoruz: ve biz MAVİ, arıyoruz .y=Xβ+ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta Uygun olarak , bu , bir işaretleyebilecek ve "kalıntı" "hatası". (Yani Gauss-Markov sayfasındaki kullanımın tersi).η=y−Xβη=y−Xβ\eta = y - X\betaε=βˆ−βε=β^−β\varepsilon …

9 regression  least-squares  mse  blue 

2 2 ile ihtimal tablosundan, bazı bahsedilen Fisher'in kesin testi sayısı kullanan Test istatistik olarak tabloda (1,1), hücre içinde, ve sıfır hipotezi altında irade hipergeometrik dağılım gösterir.X1 , 1X1,1X_{1,1}X1 , 1X1,1X_{1,1} Bazıları test istatistiklerinin burada , null altındaki hipergeometrik dağılımın (yukarıda belirtilen) ortalamasıdır. Ayrıca p-değerlerinin hipergometrik dağılım tablosuna göre belirlendiği …

9 hypothesis-testing  fishers-exact  hypergeometric 

Mann-Whitney U testinin geçersiz hipotezini merak ediyorum. Genellikle sıfır hipotezinin iki popülasyonun eşit dağılımlara sahip olduğunu ifade ettiğini görüyorum. Ama düşünüyorum - aynı ortalama ancak son derece eşit olmayan bir varyansa sahip iki normal popülasyonum olsaydı, Mann-Whitney testi muhtemelen bu farkı tespit etmezdi. Mann-Whitney testinin sıfır hipotezinin Pr ( X> …

9 hypothesis-testing  variance  wilcoxon-mann-whitney 

Bir kategorik değişken (erkek ve dişi) ve bir sürekli değişken ile doğrusal bir regresyon modelim var .birAABBB R ile kontrast kodları ayarladım options(contrasts=c("contr.sum","contr.poly")). Ve şimdi , için Tip III toplamları kareleri ve bunların etkileşimlerini (A: B) kullanıyorum .birAABBBdrop1(model, .~., test="F") Sıkıştığım şey için karelerin toplamının nasıl hesaplandığı . BenBBB öyle …

9 regression  anova  sums-of-squares 

Bu yüzden R'deki lojistik regresyon modelleri ile çalışıyorum. İstatistiklere hala yeniyim, ancak şimdiye kadar regresyon modelleri için biraz anlayışım var gibi hissediyorum, ama yine de beni rahatsız eden bir şey var: Bağlantılı resme baktığımda, oluşturduğum örnek bir model için özet R baskılarını görüyorsunuz. Model veri kümesindeki email refound veya olmasın …

9 r  regression  logistic  p-value  interpretation 

10 maddelik bir öz bildirim ölçüsünün psikometrik özelliklerini araştırıyorum. İki bağımsız örneklemde yaklaşık 400 vakam var. Maddeler 4'lü Likert skalalarında tamamlandı. Bir EFA açıkça tek faktörlü bir çözümü destekler (örneğin 6'nın üzerinde ilk özdeğer, 1'in altındaki tüm diğerleri) ve Cronbach alfa iyidir (ör. .90). Hiçbir öğenin öğe-toplam korelasyonu düşük değildir. …

9 factor-analysis  survey  psychometrics  psychology  confirmatory-factor 

Belirli bir özelliğe sahip ortalamanın sağlam bir tahminini arıyorum. Bu istatistiği hesaplamak istediğim bir dizi unsurum var. Sonra, her seferinde bir tane yeni eleman ekliyorum ve her ek eleman için istatistiği (çevrimiçi algoritma olarak da bilinir) yeniden hesaplamak istiyorum. Bu güncelleme hesaplamasının hızlı olmasını, tercihen O (1), yani listenin boyutuna …

9 estimation  mean  robust 

Birkaç GPS tabanlı raporlardan gerçek dünya konumlarını (fe hız kameraları) belirlemesi gereken bazı yazılımlar üzerinde çalışıyorum . Bir kullanıcı bir konum bildirirken araç kullanıyor olacak, bu nedenle raporlar çok yanlış. Bu sorunu çözmek için aynı yerle ilgili raporları kümelendirmeli ve bir ortalama hesaplamalıyım. Sorum bu raporların nasıl kümeleneceği ile ilgili …

9 k-means  expectation-maximization  point-estimation 

ARIMA modelleri ile öngörüye adım attığım için, ARIMA'nın mevsimsellik ve sapmaya uygun bir tahminini nasıl geliştirebileceğimi anlamaya çalışıyorum. Verilerim aşağıdaki zaman serisidir (3 yıldan fazla, açık eğilim yukarı ve görünür mevsimsellik ile, 12, 24, 36 gecikmelerde otokorelasyon tarafından desteklenmiyor gibi görünüyor). > bal2sum3years.ts Jan Feb Mar Apr May Jun Jul …

9 r  time-series  forecasting  arima  seasonality 

Gözlenen rasgele değişkenlerin bir poisson dağılımına uyumunun iyiliğini ölçmek için iyi bilinen istatistiksel testlerden bazıları nelerdir? Kolmogorov-Smirnov testinin böyle olduğunu biliyorum, orada başka var mı?

9 probability  poisson-distribution  goodness-of-fit 

Bir "sorgu" ve bir "şablon" eğrisi maç ve şimdiye kadar makul bir başarı elde etmek için Dinamik Zaman Çözgü kullanıyorum, ama bazı temel soruları var: DTW sonucunun sezgisel olarak bulduğum bir eşik değerden daha düşük olup olmadığını değerlendirerek bir "maç" ı değerlendiriyorum. DTW kullanarak bir “eşleşme” belirlemenin genel yaklaşımı bu …

9 time-series  normalization  functional-data-analysis 

(Bunu ne ile etiketleyeceğime dair gerçek bir fikrim yok çünkü istatistikçi değilim ve bunun hangi alana girdiğini bilmiyorum. Daha uygun etiketler eklemekten çekinmeyin.) Veri analiz yazılımı üreten bir şirkette çalışıyorum ve en son ürünümüzü test etmek ve tanıtmak için iyi bir veri setine ihtiyacımız var. Veritabanını rastgele bir sayı üretecinin …

9 data-cleaning