İstatistikler ve Büyük Veri

Nöral ağlar ve derin öğrenme noktaları com öğretici ile sinir ağlarını öğrenmeye başladım. Özellikle 3. bölümde çapraz entropi fonksiyonu hakkında bir bölüm vardır ve çapraz entropi kaybını şu şekilde tanımlar: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Bununla birlikte, Tensorflow girişini okurken, çapraz …

12 neural-networks  loss-functions  softmax  cross-entropy 

Şu anda ~ 300 değişkenli ve 800 gözlemli bir veri kümesinde ikili sonuç için öngörücü bir model oluşturmaya çalışıyorum. Bu sitede adım adım gerileme ile ilgili sorunlar ve neden kullanmama hakkında çok şey okudum. LASSO regresyonunu ve özellik seçimi yeteneğini okudum ve "düzeltme" paketi ve "glmnet" kullanarak bunu uygulayabildim. Model …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Kısa bir süre önce işyerinde aylık tahminler üzerinde çalışırken ve Rob Hyndman'ın kitabını okurken tahmin bilgimi yeniliyordum, ancak mücadele ettiğim tek yer, bir ARIMA modeline kıyasla üstel bir yumuşatma modelinin ne zaman kullanılacağıdır. Bir metodolojiyi diğerine karşı kullanmanız gereken bir kural var mı? Ayrıca, ikisini karşılaştırmak için AIC'yi kullanamayacağınız için …

12 forecasting  arima  exponential-smoothing 

N = 250 firma ve T = 50 aylık bir panel veri kümesinden tahmini parametreler için güven aralıklarını tahmin etmek için önyükleme kullanmak istiyorum. Kalman filtrelemesi ve karmaşık doğrusal olmayan tahmin kullanımı nedeniyle parametrelerin tahmini hesaplama açısından pahalıdır (birkaç günlük hesaplama). Bu nedenle, orijinal numuneden B = (yüzlerce veya daha …

12 confidence-interval  bootstrap  nonlinear-regression  kalman-filter 

Varsayalım ki ve kovaryans matrisleri var . Bu seçeneklerden hangisi aynı zamanda kovaryans matrisleridir?XXXYYY X+YX+YX+Y X2X2X^2 XYXYXY Bir şeyin bir kovaryans matrisi olması için tam olarak neyin gerekli olduğunu anlamakta biraz zorluk çekiyorum. Örneğin, ve doğru olması için o olması gerektiği anlamına geliyor. ; burada ve , diğer bazı rastgele …

12 covariance  covariance-matrix 

Ben ilgili bir soru sormak istiyorum bu bir . Burada xgboost için özel kayıp fonksiyonu yazma bir örnek buldum : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Her biri diğerini ima ediyor mu? Değilse, biri diğerini ima eder mi? Neden / neden olmasın? Bu sorun, burada gönderdiğim bir yanıtın yorumuna yanıt olarak ortaya çıktı . Google, alakalı terimleri aramanın özellikle yararlı görünen bir şey üretmemesine rağmen , matematik stackexchange'te bir cevap fark ettim . Ancak, bu sorunun …

12 mathematical-statistics  bias  unbiased-estimator  estimators  consistency 

Her zaman, her örnek yeterince büyük olacak şekilde, tekrarlanan örneklemede CLT'nin çalıştığı öğretildi. Mesela 1.000.000 vatandaşım var. CLT anlayışım, yüksekliklerinin dağılımı normal olmasa bile, 50 kişiden 1000 numune almış olsaydım (yani her biri 50 vatandaştan 1000 anket yapsaydım), daha sonra her numune için ortalama yüksekliklerini, bu numunenin dağılımını hesapladım. anlamına …

12 sampling  central-limit-theorem 

İsimlendirmeyi merak ediyorum: Sol eğimli neden negatif eğimli ve sağ eğimli pozitif eğri deniyor?

12 terminology  skewness 

Demografi ve hizmetten ziyaret sayılarını hesaplamaya çalışmak. Veriler çok eğri. histogramlar: qq grafikleri (sol günlüktür): m <- lm(d$Visits~d$Age+d$Gender+city+service) m <- lm(log(d$Visits)~d$Age+d$Gender+city+service) cityve servicefaktör değişkenleridir. Tüm değişkenler için düşük bir p değeri *** elde ediyorum, ancak aynı zamanda .05 gibi düşük bir r kare elde ediyorum. Ne yapmalıyım? Üstel veya başka …

12 regression  multiple-regression  predictive-models  exponential  qq-plot 

Şimdi bir ağ meta-analizi veya karışık tedavi karşılaştırması yapmak için birkaç farklı yaklaşım vardır. En sık kullanılan ve erişilebilir olanlar muhtemelen aşağıdakilerdir: Bayes çerçevesinde : WinBUGS'de tasarım-tedavi etkileşimi yaklaşımı (ör. Jackson ve ark. ); WinBUGS'ta (ör. Zhao ve ark. ) hiyerarşik kol tabanlı Bayesci modelleme ; hiyerarşik kontrast temelli (yani …

12 r  stata  sas  winbugs  network-meta-analysis 

Karar ağaçları söz konusu olduğunda, öngörülen değer eğitim verisi aralığının dışında kalabilir mi? Örneğin, hedef değişkenin egzersiz veri kümesi aralığı 0-100 ise, modelimi oluşturup başka bir şeye uyguladığımda değerlerim -5 olabilir mi? veya 150? Karar ağacı gerilemesi anlayışımın hala kural tabanlı olduğu - sol / sağ ilerleme olduğu ve eğitim …

12 regression  predictive-models  random-forest  cart 

Bir sinir ağı için bir olayın tarih ve saatini nasıl kodlayabilirim? Sürekli bir zaman serim yok, ancak tarih ve saat içeren bazı olaylar var ve bir tür ilgiyi analiz ediyorum. Bu ilgi sabahları ve akşamları arasında, hafta içi günleri ile yaz ve kış arasında, Noel ve Paskalya öncesi vb. Ve …

12 neural-networks  deep-learning 

Aşağıdaki periyodik olmayan zaman serilerine sahip olduğumu varsayalım. Açıkçası eğilim azalıyor ve bunu bazı testlerle ( p değeriyle ) kanıtlamak istiyorum . Değerler arasında güçlü zamansal (seri) oto-korelasyon nedeniyle klasik lineer regresyonu kullanamıyorum. library(forecast) my.ts <- ts(c(10,11,11.5,10,10.1,9,11,10,8,9,9, 6,5,5,4,3,3,2,1,2,4,4,2,1,1,0.5,1), start = 1, end = 27,frequency = 1) plot(my.ts, col = "black", …

12 r  time-series 

Yani, sık kullanılan yöntemlerle sıralı analiz yapmak (önceden ne kadar veri toplayacağınızı bilmiyorsunuz) özel bakım gerektirir; p değeri yeterince küçülene veya bir güven aralığı yeterince kısa olana kadar veri toplayamazsınız. Fakat Bayes analizi yaparken bu bir endişe kaynağı mıdır? Güvenilir bir aralık yeterince küçük hale gelene kadar veri toplamak gibi …

12 bayesian  inference  philosophical  sequential-analysis