İstatistikler ve Büyük Veri

Yani bu çok basit ve aptal bir soru. Ancak, okuldayken sınıftaki tüm simülasyon kavramına çok az dikkat ettim ve bu da beni bu süreçten biraz korkuttu. Simülasyon sürecini laymen cinsinden açıklayabilir misiniz? (veri üretmek için olabilir, regresyon katsayıları, vb.) Biri simülasyonları kullandığında bazı pratik durumlar / problemler nelerdir? R de …

40 simulation 

Sürekli (bağımlı değişken) ile kategorik (nominal: cinsiyet, bağımsız değişken) değişken arasındaki ilişkiyi bulmak isterim. Sürekli veri normalde dağılmaz. Daha önce Spearman's kullanarak hesaplamıştım . Ancak bunun doğru olmadığı söylendi.ρρ\rho İnternette arama yaparken, kutu grafiğinin ne kadar ilişkili oldukları hakkında bir fikir verebileceğini; Ancak, Pearson'un ürün moment katsayısı veya Spearman's gibi …

40 correlation  categorical-data  descriptive-statistics  biostatistics  spearman-rho 

İtfaiyeciye giriş sınavı sonuçlarını gösteren verilerim var. Sınav sonuçlarının ve etnik kökenin karşılıklı olarak bağımsız olmadığı hipotezini test ediyorum. Bunu test etmek için, R'de Pearson ki-kare testi uygulamıştım. Sonuçlar beklediğimi gösteriyor, ancak " In chisq.test(a) : Chi-squared approximation may be incorrect." Şeklinde bir uyarı verdi . > a white black …

40 r  categorical-data  chi-squared  small-sample  error-message 

Ridge regresyonu için çözümün türetilmesiyle ilgili bazı sorunlar yaşıyorum. Regresyon çözümünü normalleştirme terimi olmadan biliyorum: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Her zaman bilgi alımı bağlamında olmasına rağmen, bazı hatırlama ve kesinlik tanımlarını okudum. Birisini bunu bir sınıflandırma bağlamında biraz daha açıklayabilir ve belki bazı örnekler gösterebilir mi diye merak ediyordum. Örneğin, bana% 60 hassasiyet ve% 95 geri çağırma sağlayan bir ikili sınıflandırıcıya sahip olduğumu söyle, bu iyi bir sınıflandırıcı mı? …

40 machine-learning  metric 

30 bağımsız değişken kümesinden sürekli bir bağımlı değişken için tahmincileri bulmak istiyorum. R'deki glmnet paketinde uygulanan Lasso regresyonunu kullanıyorum . İşte bazı boş kod: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to find the best lambda library(glmnet) …

40 r  multiple-regression  lasso  glmnet  communication 

7., 16. ve 29. noktaların etkili nokta olup olmadığını bilen var mı? Bir yerlerde, Cook'un mesafesi 1'den düşük olduğundan, olmadıklarını okudum. Ben haklı mıyım?

40 r  regression  residuals  diagnostic  cooks-distance 

Bir süredir bunu merak ediyorum; Ne kadar beklenmedik bir şekilde olduğunu garip buluyorum. Temel olarak, neden olduğu gibi için sadece üç forma ihtiyacımız var? Düzeltme neden bu kadar çabuk oluyor?ZnZnZ_n Z2Z2Z_2 : Z3Z3Z_3 : (utanmadan John D. Cook'un blogundan çalınan görüntüler: http://www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/ ) Neden dört üniforma almıyor? Veya beş? Veya...?

40 normal-distribution  mathematical-statistics  uniform  central-limit-theorem 

Sadece ayaklarımın istatistiklerini ıslattığım için üzgünüm, eğer bu soru mantıklı gelmiyorsa. Gizli aramaları (haksız kumarhaneler, zar atma vb.) Ve sinir ağlarını tahmin etmek için Markov modellerini ve kullanıcıların arama motorundaki tıklamaları incelemek için kullandım. Her ikisinde de gözlemleri kullanarak çözmeye çalıştığımız gizli durumlar vardı. Anladığım kadarıyla ikisi de gizli durumları …

40 data-mining  algorithms  neural-networks  markov-process 

Temel Bileşen Analizi (PCA) veya Ampirik Ortogonal İşlev (EOF) Analizinden çıkan önemli kalıpların sayısını belirlemekle ilgileniyorum. Özellikle bu yöntemi iklim verilerine uygulamakla ilgileniyorum. Veri alanı, M'nin zaman boyutu (örneğin günler) ve N'nin uzaysal boyut (örneğin, lon / lat konumları) olduğu bir MxN matrisidir. Önemli bilgisayarları belirlemek için olası bir önyükleme …

40 r  pca  bootstrap  monte-carlo 

Araziler hazırlarken genellikle kendi kendine özgü seçimlerimi yaparım. Ancak, araziler oluşturmak için herhangi bir en iyi uygulama olup olmadığını merak ediyorum. Not: Rob'un bu sorunun cevabına yorumu burada çok önemlidir.

40 data-visualization  references 

Wikipedia'dan: Bir oyun şovunda olduğunuzu ve üç kapının seçimini verdiğinizi varsayalım: Bir kapının arkasında bir araba; diğerlerinin arkasında keçiler var. Bir kapı seçiyorsunuz, 1 numara diyorsunuz ve kapıların arkasında ne olduğunu bilen ev sahibi, başka bir kapıyı açıyor, bir keçi olan 3 numara. Daha sonra size "2 numaralı kapıyı seçmek …

40 probability  intuition  puzzle 

Rektifiye doğrusal ünite (ReLU) sinir ağları için kaybolma degrade sorununa bir çözüm olarak çeşitli yerlerde övgüde bulundu . Yani aktivasyon fonksiyonu olarak max (0, x) kullanılır. Aktivasyon pozitif olduğunda, bunun, sigmoid aktivasyon fonksiyonundan daha iyi olduğu açıktır, çünkü türetilmesi, büyük x için keyfi olarak küçük bir değer yerine her zaman …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Zaman serilerinin kümelenmesini gerçekleştirmek için Dinamik Zaman Sıyırma (DTW) kullanma yaklaşımı ne olurdu? DTW'yi, iki zaman serisi arasında benzerlik bulmanın, zaman içinde kaydırılabileceklerini bulmanın bir yolu olarak okudum. Bu yöntemi k-means gibi kümeleme algoritması için benzerlik ölçüsü olarak kullanabilir miyim?

40 time-series  clustering 

Normal dağılımda, 68-95-99.7 kuralı , standart sapmaya çok fazla anlam kazandırır, ancak normal olmayan bir dağılımda standart sapma ne anlama gelir (multimodal veya çarpık)? Tüm veri değerleri hala 3 standart sapma içinde mi kalıyor? Normal olmayan dağılımlar için 68-95-99.7 gibi kurallarımız var mı?

40 normal-distribution  standard-deviation  skewness