İstatistikler ve Büyük Veri

Olasılık ve İstatistik Yemek Kitabı ve Veri Madenciliği İçin R Referans Kartı gibi kaynakları inanılmaz derecede faydalı buluyorum . Belli ki referans olarak iyi hizmet ediyorlar ama aynı zamanda bir konu hakkındaki düşüncelerimi düzenlememe ve toprağın düzenini almama yardımcı oluyorlar. S: Bu kaynaklara benzer bir şey makine öğrenme yöntemleri için …

57 machine-learning  references 

Kesin ve sürekli veri üzerine bu soruyu cevaplarken, kategorik verileri sürekli olarak ele almanın nadiren mantıklı olduğunu ileri sürdüm. Anlaşılır görünen, ancak sezgi genellikle istatistik için kötü bir rehber, ya da en azından benim. Şimdi merak ediyorum: doğru mu? Yoksa kategorik verilerden bir sürekliliğe dönüşümün gerçekten yararlı olduğu analizler var …

57 categorical-data  data-transformation  ordinal-data  continuous-data 

Bayesian regresyonu hakkında bazı sorularım var: gibi standart bir regresyon . Bunu bir Bayesian regresyonuna dönüştürmek , ve için önceden dağıtımlara ihtiyacım var (yoksa bu şekilde çalışmıyor)?y=β0+β1x+εy=β0+β1x+εy = \beta_0 + \beta_1 x + \varepsilonβ0β0\beta_0β1β1\beta_1 Standart regresyonda biri artıkları en aza indirmeye ve için tekli değerler elde . Bayes regresyonunda bu …

57 regression  bayesian 

Burada ve burada bu konuda iki soru buldum ama henüz net bir cevap veya açıklama yok. Aynı problemi Convolution Sinir Ağımdaki eğitim hatasından daha az olduğu durumlarda da aynı sorunu uyguluyorum. Bu ne anlama geliyor?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation 

Zaman çizelgesi grafiğindeki y ekseni gibi, belirli durumlarda çizelgeleme / grafik oluşturma uygun olduğunda günlük ölçeklerini kullanmanın okudum. Ancak, bunun neden böyle olduğu veya ne zaman uygun olacağı konusunda kesin bir açıklama bulamadım. Lütfen aklınızda bulundurun, istatistikçi değilim, bu yüzden noktayı tamamen kaybediyor olabilirim ve eğer durum buysa, iyileştirici kaynakların …

57 data-visualization  data-transformation 

Vikipedi sapma tahmini standart sapma hakkındaki makaleye göre örnek SD s = 1n - 1Σi = 1n( xben- x¯¯¯)2---------------√s=1n-1Σben=1n(xben-x¯)2s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2} nüfusun SD'sinin önyargılı bir tahmincisidir. Bu E ( √ olduğunu belirtir. .E( s2--√) ≠ D( s2)-----√E(s2)≠E(s2)E(\sqrt{s^2}) \neq \sqrt{E(s^2)} NB. Rastgele değişkenler bağımsızdır ve her biri …

57 estimation  standard-deviation 

Beyan Bir (S1): "80 ölümde bir araba kazasından kaynaklanıyor." İkinci İfade (S2): "80 kişiden biri trafik kazası sonucu öldü." Şimdi, şahsen bu iki ifade arasında hiç bir fark görmüyorum. Yazarken, onları sıra dışı izleyicilerle birbirleriyle değiştirilebileceğini düşünürdüm. Ancak şimdi bu konuda iki kişi tarafından zorlandım ve ek bir bakış açısı …

56 interpretation  risk 

Umarım bu başlık kendi kendini açıklar niteliktedir. Kaggle'da kazananların çoğu, MSE'nin% birkaçını sıkıştırmak için bazen yüzlerce baz modeliyle istiflemeyi kullanıyor, genel olarak, deneyimlerinizde, istifleme gibi fantezi modellemenin ne kadar önemli olduğu, sadece daha fazla veri toplama ve daha fazla özellik toplama veri için?

56 large-data  stacking  collecting-data  kaggle 

Hem PCA hem de otomatik kod çözücü, azaltma azaltması yapabilir, bu nedenle aralarındaki fark nedir? Hangi durumda üst üste kullanmalıyım?

56 machine-learning  pca  neural-networks  autoencoders 

50 sürekli açıklayıcı değişken kullanarak ikili sonucu tahmin etmeye çalışıyorum (değişkenlerin çoğunun aralığı ila ∞ arasındadır ). Veri setimin neredeyse 24.000 satırı var. R'de koşarken , alıyorum:−∞−∞-\infty∞∞\inftyglm Warning messages: 1: glm.fit: algorithm did not converge 2: glm.fit: fitted probabilities numerically 0 or 1 occurred Mükemmel ayrılmanın olabileceğini gösteren diğer yanıtları …

56 r  regression  logistic  separation 

Bunu okumaya devam ediyorum ve sezgisel olarak bunu görebiliyorum, ancak L2 düzenlileşmesinden analitik olarak bunun bir Gauss Öncesi olduğunu söylemeye nasıl geçilir? Aynı şey, L1'in daha önce bir Laplacean'a eşdeğer olduğunu söylemek için de geçerli. Diğer referanslar çok iyi olurdu.

56 regression  references  regularization 

Derin sinir ağları için iyi bir R kütüphanesi olup olmadığını merak ediyor muydum? Orada olduğunu biliyorum nnet, neuralnetve RSNNS, ancak bunların hiçbiri derin öğrenme yöntemlerini uygulamak gibi görünüyor. Özellikle denetlenmeyen öğrenmeden sonra denetlenen öğrenmeden ve eş-uyum sağlamak için bırakma kullanmaktan özellikle ilgileniyorum . / edit: Birkaç yıl sonra, h20 derin …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Şu soruya uyumsuz bilgi buldum: " Biri, araçlardaki veya oranlardaki farkın% 95'lik bir güven aralığı (CI) oluşturursa, CI içindeki tüm değerler eşit derecede muhtemel mi? Veya, en muhtemel tahmin noktası mı? CI'nin "kuyrukları" na yakın olan değerlerin CI ortasındaki değerlerden daha düşük olması durumunda? Örneğin, randomize bir klinik çalışma raporunda, …

56 confidence-interval 

İstatistiksel testlere en yaygın yaklaşımın iki yaklaşım arasında bir "melez" olduğuna göre belirli bir düşünce okulu vardır: Fisher ve Neyman-Pearson; Bu iki yaklaşım, iddiaya göre, "uyumsuz" ve sonuçta ortaya çıkan "melez" bir "tutarsız kargaşa" dır. Bir kaynakça ve aşağıda bazı alıntılar sunacağım, fakat şimdilik İstatistiksel hipotez testi ile ilgili wikipedia …

56 hypothesis-testing  statistical-significance  p-value  type-i-and-ii-errors  history 

Karışık modele uyması için lme4 in R kullanıyorum lmer(value~status+(1|experiment))) değerin sürekli olduğu yerde, durum ve deney faktördür ve ben anlıyorum Linear mixed model fit by REML Formula: value ~ status + (1 | experiment) AIC BIC logLik deviance REMLdev 29.1 46.98 -9.548 5.911 19.1 Random effects: Groups Name Variance Std.Dev. …

56 r  hypothesis-testing  mixed-model  p-value  lme4-nlme