İstatistikler ve Büyük Veri

Ders kitaplarında ve youtube derslerinde destekleme gibi yinelemeli modeller hakkında çok şey öğrendim, ama bir tahmin aralığı türetmekle ilgili hiçbir şey görmedim. Çapraz doğrulama aşağıdakiler için kullanılır: Model seçimi : Farklı modelleri deneyin ve en uygun olanı seçin. Artırma durumunda, ayarlama parametrelerini seçmek için CV kullanın. Model değerlendirmesi : Seçilen …

19 cross-validation  boosting  prediction-interval 

Fiyatların pozitif olması gerekirken getirilerin negatif olabilmesi dışında, hisse senedi fiyatlarını log normal dağılım olarak modellemenin arkasında başka bir sebep var mı, ancak modelleme hisse senedi normal dağılım olarak geri dönüyor mu?

19 normal-distribution  lognormal  finance 

RNN, tahmin veya sekanstan sekansa eşleme için kullanılabilir. Fakat RNN sınıflandırma için nasıl kullanılabilir? Demek istediğim, bütün diziye bir etiket veriyoruz.

19 machine-learning  neural-networks  rnn 

Özne tasarımında iki yönlü aşağıdaki verileri göz önünde bulundurun: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 Jim Cued Neu …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio 

Tipik olarak, tüm popülasyon parametrelerini tahmin edene kadar "nüfus anlarını örnek karşılıklarına eşitleyerek" moment tahmin yöntemine giriyoruz; böylece, normal dağılım durumunda, sadece birinci ve ikinci anlara ihtiyacımız olur çünkü bu dağılımı tam olarak tanımlarlar. E(X)=μ⟹∑ni=1Xi/n=X¯E(X)=μ⟹∑i=1nXi/n=X¯E(X) = \mu \implies \sum_{i=1}^n X_i/n = \bar{X} E(X2)=μ2+σ2⟹∑ni=1X2i/nE(X2)=μ2+σ2⟹∑i=1nXi2/nE(X^2) = \mu^2 + \sigma^2 \implies \sum_{i=1}^n X_i^2/n …

19 mathematical-statistics  lognormal  moments  method-of-moments 

Gerçek dünya verilerinin neden normal olarak dağılmasının beklendiğini (yani üretken olarak) açıklayabilecek bazı teoremler nelerdir? Bildiğim iki tane var: Bize ortalama ve varyanslı (aynı şekilde dağılmamış olsalar bile) birkaç bağımsız rastgele değişkenin toplamının normal olarak dağılmaya eğilimli olduğunu söyleyen Merkezi Limit Teoremi (elbette) X ve Y, eklem yoğunlukları sadece + …

19 normal-distribution  central-limit-theorem 

Tek modlu bir dağılım için ortalama = medyan ise dağılımın simetrik olduğunu söylemek yeterli midir? Wikipedia, ortalama ve medyan arasındaki ilişkiyi söylüyor : "Eğer dağılım simetrik ise, ortalama medyanla eşittir ve dağılım sıfır çarpıklığa sahip olacaktır. Ayrıca, dağılım imimodal ise, ortalama = medyan = moddur. Bu bir bozuk para atma …

19 distributions  mean  median  symmetry 

Normal olarak dağıtılan rastgele bir sayı kümesi düşünün: x <- rnorm(n=1000, mean=10) Ortalamayı ve ortalamadaki standart hatayı bilmek istiyoruz, böylece aşağıdakileri yapıyoruz: se <- function(x) { sd(x)/sqrt(length(x)) } mean(x) # something near 10.0 units se(x) # something near 0.03 units Harika! Bununla birlikte, orijinal dağılımımızın normal bir dağılımı takip ettiğini …

19 confidence-interval  data-transformation  descriptive-statistics 

GAM'ları giderek daha fazla kullanıyorum. Çeşitli bileşenleri (referans parametre seçimi, çeşitli spline tabanları, yumuşak terimlerin p-değerleri) için referanslar sağlamaya gittiğimde, hepsi bir araştırmacıdan - İngiltere'deki Bath Üniversitesi'ndeki Simon Wood'dan. Aynı zamanda, mgcviş vücudunu uygulayan R'nin koruyucusudur. mgcvson derece karmaşıktır, ancak oldukça iyi çalışır. Kesinlikle daha eski şeyler var. Orijinal fikir …

19 nonparametric  gam  mgcv  academia  semiparametric 

Diyelim ki GLMM'lerimiz var mod1 <- glmer(y ~ x + A + (1|g), data = dat) mod2 <- glmer(y ~ x + B + (1|g), data = dat) Bu modeller olağan anlamda iç içe değildir: a <- glmer(y ~ x + A + (1|g), data = dat) b <- glmer(y …

19 r  mixed-model  aic  lme4-nlme  nested-models 

Son zamanlarda "Küme hesaplamasıyla beyin aktivitesini haritalama" başlıklı yeni bir dergi makalesinde PCA kullanımını anlamaya çalışıyorum Freeman ve ark., 2014 ( laboratuvar web sitesinde ücretsiz pdf mevcuttur ). Zaman serileri verilerinde PCA kullanır ve beynin bir haritasını oluşturmak için PCA ağırlıklarını kullanırlar. Verileri (adlı bir matris olarak saklanan test ortalama …

19 time-series  pca  state-space-models  neuroimaging  neuroscience 

Buradan Lojistik Regresyon uygulamasını kontrol ediyorum . Bu makaleyi okuduktan sonra, önemli olan sigmoid fonksiyonunu belirlemek için en iyi katsayıları bulmak gibi görünüyor. Bu yöntemin neden "Lojistik Regresyon" olarak adlandırıldığını merak ediyorum. Logaritmik fonksiyon ile mi ilgili? Belki de daha iyi anlamak için bazı tarihsel arka plan bilgilerine ihtiyacım var.

19 regression  machine-learning  logistic 

Minimum 0 ve maksimum 94.33 olan bir örnek için ortalama 74.10 ve standart sapma 33.44 var. Profesörüm bana ne anlama gelebileceğini ve bir standart sapmanın maksimum değeri aştığını sorar. Ona bununla ilgili birçok örnek gösterdim, ama anlamıyor. Ona göstermek için referansa ihtiyacım var. Bir istatistik kitabından, özellikle bununla ilgili herhangi …

19 standard-deviation  mean  references  bounds  maximum 

Kilitli . Bu soru ve cevapları kilitlidir çünkü soru konu dışıdır ancak tarihsel önemi vardır. Şu anda yeni yanıtları veya etkileşimleri kabul etmiyor. Aşağıdaki gibi araziler yapmak için R'de ggplot2 kullanıyorum: Hata çubukları birbiriyle çakışıyor ve bu gerçekten dağınık görünüyor. Farklı dizinler için hata çubuklarını nasıl ayırabilirim? Position = "dodge" …

19 data-visualization  ggplot2 

Oranlar, Sürekli Güncellenmiş makalesi , yaşamını tam anlamıyla Bayes İstatistiklerine borçlu olan bir Long Island balıkçısının hikayesinden bahsediyor. İşte kısa versiyon: Gecenin ortasında bir teknede iki balıkçı var. Biri uyurken diğeri okyanusa düşer. Tekne, ilk adam uyanıp Sahil Güvenlik'i haberdar edene kadar gece boyunca otomatik pilot üzerinde ilerlemeye devam eder. …

19 probability  bayesian  posterior  bayes