İstatistikler ve Büyük Veri

Ya da daha fazla "olacak" mı? Büyük Veri , istatistikleri ve ilgili bilgileri daha da önemli hale getirir ancak Örnekleme Teorisinin altını çizer. Bu yutturmaca 'Büyük Veri' etrafında gördüm ve "neden" her şeyi analiz etmek isteyeyim merak ediyorum yardımcı olamaz ? "Örnekleme Teorisi" nin tasarlanması / uygulanması / icat edilmesi …

54 sampling  data-mining  large-data 

Küme merkezlerini bulur ve çok iyi bilinen bir algoritma olan ve neredeyse net ağdaki her makine öğrenme paketinde bulunan k-ortalama kümelemesinde k farklı küme kutularına puanlar atarız . Ancak bence eksik ve en önemli kısım, doğru bir k seçimidir. Bunun için en iyi değer nedir? Ve en iyisi ile ne …

54 clustering  k-means 

Bir süredir R'de çalışıyorum ve PCA, SVD, QR ayrışımları ve bunun gibi birçok lineer cebir sonuçlarıyla (ağırlıklı gerilemeleri tahmin ederken teftiş ederken) bir şey hakkında bir tavsiyede bulunup bulunmadığını bilmek istedim. Çok teorik olmayan fakat matematiksel olarak titiz olan ve tüm bu konuları kapsayan kapsamlı doğrusal cebir kitabı.

54 references  matrix  linear-algebra  weighted-regression 

Bir ANOVA'dan sonra yapılan hoc sonrası testlerin yalnızca ANOVA'nın kendisi önemliyse kullanılabileceğini sıklıkla duyuyorum. Bununla birlikte, hoc sonrası testler global tip I hata oranını% 5'de tutmak için -değerlerini ayarlar , değil mi?ppp Öyleyse neden önce küresel teste ihtiyacımız var? Global bir teste ihtiyacımız yoksa, "post hoc" terminolojisi doğru mu? Yoksa …

54 anova  statistical-significance  post-hoc 

Aynı dağılımdan çizilen yeterince fazla sayıda gözlemin ortancasını hesaplarsam, merkezi limit teoremi medyanların dağılımının normal bir dağılıma yaklaşacağını belirtir mi? Anladığım kadarıyla, bu çok sayıda örneklem aracıyla doğru, ancak medyanlar için de doğru mu? Değilse, örnek medyanların altında yatan dağılım nedir?

54 normal-distribution  mathematical-statistics  sampling  median  central-limit-theorem 

Verinin normalliği varsayılabilirse, standart sapmanın standart sapmasının tahmincisi nedir?

54 estimation  standard-deviation  normality-assumption 

Bir hizmet için talebin ilgili belirleyicilerini bulmaya çalışan bir sosyal bilim araştırmacısı / ekonometrikçi olduğunuzu varsayalım. Talebi tanımlayan 2 sonuca / bağımlı değişkene sahipsiniz (evet / hayır servisini ve durum sayısını kullanarak). Talebi teorik olarak açıklayabilecek 10 öngörücü / bağımsız değişkeniniz var (örneğin, yaş, cinsiyet, gelir, fiyat, ırk vb.). İki …

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

Bunu daha önce StackOverflow'ta sormuştum, ancak SO'da yanıt alamadığı için burada daha uygun olabilir gibi görünüyor. İstatistik ve programlama arasındaki kesişme noktasında. PCA (Asıl Bileşen Analizi) yapmak için bazı kodlar yazmam gerekiyor. Ben tanınmış algoritmalar aracılığıyla göz ve uyguladık bu bir bildiğim kadarıyla söyleyebilirim NIPALS algoritması eşdeğerdir. İlk 2-3 ana …

54 pca  algorithms  model-evaluation  high-dimensional 

Olasılık konusunda zaten bilgili bir matematikçi için istatistiklere iyi bir giriş nedir? Sormak için iki farklı motivasyonum var, ki bunlar farklı önerilere yol açabilir: Olasılık uzmanları tarafından değerlendirilen birçok sorunun arkasındaki istatistik motivasyonunu daha iyi anlamak istiyorum. Bazen matematiksel varsayımlar oluşturmak için yaptığım Monte Carlo simülasyonlarının sonuçlarını nasıl daha iyi …

54 references 

Matematiksel istatistik ders kitaplarında daha önce bir soru sorulmuştu. Matematiksel istatistiklerle ilgili iyi çevrimiçi video dersleri bilen var mı ? Bulduğum en yakın: Makine öğrenme Ekonometri GÜNCELLEME: Aşağıda belirtilen önerilerden bazıları iyi istatistik-101 tipi videodur. Ancak, özellikle istatistiklerin titiz bir matematiksel sunumunu sağlayan herhangi bir video olup olmadığını merak ediyorum. …

54 mathematical-statistics  references 

Bazı durumlarda çok değişkenli doğrusal regresyonlu bir sinir ağına benzer sonuçlar elde etmek mümkündür ve çok değişkenli doğrusal regresyon süper hızlı ve kolaydır. Yapay sinir ağları hangi koşullar altında çok değişkenli doğrusal regresyondan daha iyi sonuçlar verebilir?

54 regression  multiple-regression  neural-networks 

Çeşitli öğreticiler ve (gibi soruların dahil PCA hakkında çok şey okudum bu bir , bu bir , bu bir ve bu bir ). PCA'nın optimize etmeye çalıştığı geometrik problem bana açıktır: PCA, yansıtılan verinin varyansını en üst düzeye çıkaran yeniden yapılandırma (projeksiyon) hatasını en aza indirerek ilk ana bileşeni bulmaya …

54 pca  optimization  linear-algebra  intuition 

Bana göre, tutma onayının işe yaramaz olduğu görünüyor. Yani, orijinal veri setini iki bölüme ayırmak (eğitim ve test) ve test puanını genelleme ölçütü olarak kullanmak bir şekilde işe yaramaz. K-fold cross-validation, genelleme için daha iyi yaklaşımlar veriyor gibi görünüyor (her noktada eğitiyor ve test ediyor). Öyleyse neden standart bekletme onayını …

54 machine-learning  cross-validation  validation 

Ders kitabımdan değerinin X ve Y'nin bağımsız olduğunu garanti etmediğini okudum . Fakat eğer bağımsızlarsa, kovaryansları 0 olmalıdır. Henüz herhangi bir uygun örnek düşünemedim; Biri bir tane sağlayabilir mi?cov ( X, Y) = 0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence  covariance 

İstatistiksel öğrenmede, dolaylı veya açık bir şekilde, kişi her zaman eğitim setinin giriş / yanıt dosyasından oluştuğunu varsayar. vardır , bağımsız bir şekilde, aynı ortak dağılım çekilen ileD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNp ( X , Y )(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) p({\bf{X}}) ve belirli …

54 machine-learning  cross-validation  non-independent  iid