İstatistikler ve Büyük Veri

Verilerin birçok özelliği vardır (örneğin 100) ve örnek sayısı 100.000 gibidir. Veriler seyrek. Verileri lojistik regresyon veya svm kullanarak sığdırmak istiyorum. Doğrusal değilse çekirdek hile kullanabilmem için özelliklerin doğrusal mı doğrusal mı olduğunu nasıl bilebilirim?

21 machine-learning  logistic  svm  data-mining 

İşte eski sorum Birisinin Gizli Markov modelleri (HMM) ve Partikül Filtresi (PF) arasındaki farkı (herhangi bir fark varsa) ve bunun sonucunda Kalman Filtresini veya hangi koşullar altında hangi algoritmayı kullandığımızı bilip bilmediğini sormak istiyorum. Ben öğrenciyim ve bir proje yapmam gerekiyor, ama önce bazı şeyleri anlamalıyım. Yani, bibliyografyaya göre, her …

21 machine-learning  self-study  hidden-markov-model  kalman-filter  particle-filter 

Doğrultulmuş doğrusal birimlerin (ReLU), doğrusal ve hesaplanması daha hızlı oldukları için softplus birimlerinin yerini aldıkları sıklıkla belirtilir. Softplus hala spariteyi indükleme avantajına sahip mi yoksa ReLU ile sınırlı mı? Sormamın nedeni, ReLU'nun sıfır eğiminin olumsuz sonuçlarını merak etmem. Bu özellik, yeniden etkinleştirme olasılığını vermenin faydalı olabileceği birimleri sıfırda "yakalamaz" mı?

21 machine-learning  neural-networks 

Emisyon azaltımı ve araç başına maliyet hakkında bazı temel verilerim var: q24 <- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") Bu üstel bir işlev olduğunu biliyorum, bu …

21 r  self-study  exponential  starting-values 

Maksimum iid Standardnormals , Aşırı Değer Teorisine göre Standart Gumbel Dağılımına yakınsar .X1,…,Xn.∼X1,…,Xn.∼X_1,\dots,X_n. \sim Bunu nasıl gösterebiliriz? Sahibiz P(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(\max X_i \leq x) = P(X_1 \leq x, \dots, X_n \leq x) = P(X_1 \leq x) \cdots P(X_n \leq x) = F(x)^n an>0,bn∈Ran>0,bn∈Ra_n>0,b_n\in\mathbb{R} sabit dizilerini şu şekilde bulmamız / seçmeliyiz : F(anx+bn)n→n→∞G(x)=e−exp(−x)F(anx+bn)n→n→∞G(x)=e−exp⁡(−x)F\left(a_n …

21 probability  normal-distribution  convergence  extreme-value 

Özellikle, iki olayım var, A ve B ve bazı dağıtım parametreleri θθ \theta , ve bakmak istiyorum .P( A | B , θ )P(bir|B,θ)P(A | B,\theta) Dolayısıyla, koşullu olasılığın en basit tanımı, bazı A ve B olayları göz önüne alındığında, . Bu nedenle, yukarıdaki gibi, üzerinde koşullandırılacak birden fazla olay …

21 probability  conditional-probability 

Temel bileşen analizi (PCA) yaptıktan sonra, PCA alanına yeni bir vektör yansıtmak istiyorum (yani PCA koordinat sistemindeki koordinatlarını bulmak). PCA'yı R dilinde kullanarak hesapladım prcomp. Şimdi vektörümü PCA dönme matrisi ile çarpabilmeliyim. Bu matristeki temel bileşenler satır veya sütunlar halinde mi düzenlenmelidir?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Aşağıdaki veri kümesiyle, yanıtın (etki) siteler, sezon, süre ve etkileşimleriyle ilgili olarak değişip değişmediğini görmek istedim. İstatistiklerle ilgili bazı çevrimiçi forumlar, Doğrusal Karışık Etkiler Modelleri ile devam etmemi önerdi, ancak sorun şu ki, her istasyonda çoğaltmalar rastgele seçildiğinden, birbirini izleyen mevsimlerde tam olarak aynı noktadan örnek alma şansım yok (örneğin, …

21 r  mixed-model  lme4-nlme 

Klasik istatistiklerinde, bir istatistik bir tanımı yoktur verileri bir dizi için tam olarak tanımlanmış bir parametre bu tarafsız bir tahmincisi oluşturulması imkansız nontrivially ondan. Yani, tüm \ theta için E h (T (y)) = 0'a sahip olmanın tek yolu , h'nin neredeyse kesin olarak 0 olmasıdır .TTTy1,…,yny1,…,yny_1, \ldots, y_nθθ\theta000Eh(T(y))=0Eh(T(y))=0E h(T …

21 mathematical-statistics  intuition  unbiased-estimator  definition  complete-statistics 

Olasılık sınıfımda "rastgele değişkenlerin toplamı" terimleri sürekli olarak kullanılmaktadır. Ancak, bunun tam olarak ne anlama geldiğini bilmiyorum? Rastgele bir değişkenden bir grup gerçekleşmenin toplamından mı bahsediyoruz? Öyleyse, bu tek bir sayı eklemiyor mu? Rasgele değişken gerçekleşmelerinin toplamı bizi nasıl bir dağılıma veya herhangi bir tür cdf / pdf / fonksiyona …

21 probability  self-study  random-variable  terminology 

Markov zincirleri hakkında bir soru yapıyorum ve son iki kısım bunu söylüyor: Bu Markov zincirinin sınırlayıcı bir dağılımı var mı? Cevabınız "evet" ise, sınırlayıcı dağılımı bulun. Cevabınız "hayır" ise, nedenini açıklayın. Bu Markov zinciri sabit bir dağılıma sahip mi? Cevabınız "evet" ise, sabit dağılımı bulun. Cevabınız "hayır" ise, nedenini açıklayın. …

21 markov-process 

Fiziksel bir modeli değerlendiriyorum ve burada hangi yöntemlerden birini kullanmam gerektiğini bilmek istiyorum (RMSE ile Tayin Katsayısı R2 arasında) Sorun şu şekildedir: x, giriş değeri için tahminler çıkaran bir fonksiyonum var . Ayrıca dediğim değer için gerçek bir gözlemim varyx¯¯¯¯¯=f(x)yx¯=f(x)\overline{y_x}= f(x).yxyxy_x Benim sorum RMSE veya R 2'nin artıları ve eksileri …

21 error 

Toplam bir zar kombinasyonu için olasılık dağılımını hesaplamak istiyorum. Toplam olasılık sayısının (zarın düzgün bir dağılımına sahip olduğu varsayılarak) toplam sayıların toplamı olan kombinasyon sayısı olduğunu hatırlıyorum. Formüller nelerdir Toplam kombinasyon sayısı Belirli bir sayıyı toplayan kombinasyon sayısı

21 probability  dice 

İki popüler post hoc model yorumlanabilirlik tekniğini okuyorum : LIME ve SHAP Bu iki teknikteki temel farkı anlamakta güçlük çekiyorum. To Scott Lundberg alıntı , shap arkasındaki beynin: SHAP değerleri, LIME'nin kara kutu yerel tahmin avantajları ile birlikte gelir, ancak aynı zamanda oyun teorisinden tutarlılık ve yerel doğruluk hakkında teorik …

21 model-interpretation  shapley-value  lime 

Toplu normalizasyon (BN) kağıdını (1) okuyordum ve modelin doğruluğunu izlemek için hareketli ortalamalar kullanma ihtiyacını anlamadım ve bunun doğru bir şey olduğunu kabul etsem bile anlamıyorum tam olarak ne yaptıklarını. Anladığım kadarıyla (ki bu benim yanlışım) makalede, modelin eğitimi bittikten sonra istatistiklerini mini parti yerine nüfus istatistiklerini kullandığından bahsediliyor. Tarafsız …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization