İstatistikler ve Büyük Veri

Doğrusal bir model için , büzülme terimi her zaman .P ( β )y= β0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Önyargı (engelleme) terimini küçültmememizin nedeni nedir ? Yapay sinir ağ modellerinde yanlılık terimini küçültmeli miyiz?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Sadece bir t-testi kullanma şartlarının yerine getirildiğini doğrulamak için Excel'de normallik için bir veri setinin nasıl kontrol edileceğini bilmek istiyorum . Sağ kuyruk için, sadece bir ortalama ve standart sapma hesaplamak, bir aralık oluşturmak için ortalamadan 1, 2 ve 3 standart sapma eklemek, ardından kullandıktan sonra standart normal dağılım için …

21 normal-distribution  excel 

Önceliklerin uygun olmadığına ve olasılık fonksiyonunun da 1 ile bütünleşmediğini biliyorum. Fakat posteriorun uygun bir dağılım olması gerekiyor mu? Öyle / değilse, ne anlama geliyor?

21 distributions  bayesian  posterior 

Rastgele değişkenin burada ve tümü bağımsızdır. Önce s için tüm moment üreten fonksiyonların ve sonra dağılımını elde etmek için geri mümkün olduğunu biliyorum . Bununla birlikte, Gaussian örneğinde olduğu gibi için genel bir form olup olmadığını merak ediyorum : bağımsız Gaussian'ın toplamının hala Gaussian olduğunu biliyoruz ve bu nedenle sadece …

21 distributions  chi-squared  random-variable  saddlepoint-approximation 

Bir model verildiğinde, veri setleri listesi için olasılıkları hesapladığım ve sonra olasılıkların her birini normalleştirme (olasılık) gerektiren bir algoritma yazıyorum. Böylece [0.00043, 0.00004, 0.00321] gibi bir şey [0.2, 0.03, 0.77] gibi olabilir. Benim sorunum, çalışmakta olduğum log olasılıklarının oldukça küçük olması (örneğin, log alanında, değerler -269647.432, -231444.981 vb.). C ++ …

21 probability  normalization  likelihood  c++  arithmetic 

Eğer önceki ve olasılık birbirinden çok farklıysa, bazen arkadakilerin hiçbirine benzemediği bir durum ortaya çıkar. Örneğin, normal dağılımları kullanan bu resme bakın. Her ne kadar bu matematiksel olarak doğru olsa da, sezgilerime uygun gözükmüyor - veriler güçlü tutulan inançlarımla veya verilerle uyuşmuyorsa, hiçbir menzilin iyi geçmesini beklememeyi ya da düz …

21 bayesian  prior  posterior  likelihood 

Her biri gözlemlenen ortalamayı ve ölçüsünün SD'sini, bilinen büyüklükteki . Aynı önlemin tasarladığım yeni bir çalışmada muhtemel dağılımı ve bu tahminde ne kadar belirsizlik olduğu konusunda mümkün olan en iyi tahminde bulunmak istiyorum. ) olduğunu varsaydığım için mutluyum .XXXnnnX∼ N( μ , σ2X~N-(μ,σ2X \sim N(\mu, \sigma^2 İlk düşüncem meta-analizdi, ancak …

21 bayesian  normal-distribution  meta-analysis 

Anladığım kadarıyla tanımlayıcı istatistikler, bir veri örneğinin özelliklerini nicel olarak tanımlarken, çıkarımsal istatistikler örneklerin alındığı popülasyonlar hakkında çıkarımlar yaptı. Ancak, istatistiksel çıkarım için wikipedia sayfası şöyledir : Çoğunlukla, istatistiksel çıkarım, bir grup rastgele örneklemeyle ilgi popülasyonundan elde edilen verileri kullanarak, popülasyonlar hakkında önerilerde bulunur. “Çoğunlukla”, bu kavramları belki de doğru …

21 terminology  descriptive-statistics  inference 

5 bağımsız değişken içeren veri setinde bir OLS regresyon modeli kullandım. Bağımsız değişkenler ve bağımlı değişken hem süreklidir hem de doğrusal olarak ilişkilidir. R Meydanı yaklaşık% 99,3'dür. Fakat aynı şeyi R'de rastgele orman kullanarak çalıştırdığımda sonucum '% Var açıklanan: 88.42'. Rastgele orman sonucu neden regresyondan daha düşük olur? Benim varsayım, …

21 r  regression  random-forest 

Bonferroni ayarının ne zaman kullanılacağıyla ilgili iki sorum var: Tüm çoklu test durumlarında Bonferroni ayarlarının kullanılması uygun mudur? Eğer biri bir veri setinde bir test yaparsa, o zaman bu veri setini daha ince seviyelere böler (örn. Verileri cinsiyete göre ayırır) ve aynı testleri gerçekleştirir, bu algılanan bireysel testlerin sayısını nasıl …

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

Birçok farklı sayım verisi seti için aykırı tespiti içeren, basitçe ileri düz bir problem olduğunu düşündüğüm bir şeye sahibim. Spesifik olarak, bir dizi sayım verisindeki bir veya daha fazla değerin, dağıtımdaki geri sayımlara göre beklenenden yüksek veya düşük olup olmadığını belirlemek istiyorum. Şaşırtma faktörü, 3.500 dağıtım için bunu yapmam gerektiği …

21 outliers  count-data  fitting 

Bazı dağıtımlarda eşlenik öncelikler vardır, bazıları değildir. Bu ayrım sadece bir kaza mı? Yani, matematiği siz yaparsınız, ve bir şekilde ya da diğer yolunda gider, ancak size gerçekte kendisi dışında dağıtım hakkında önemli bir şey anlatmaz mı? Yoksa bir konjugatın varlığı veya yokluğu dağıtımın daha derin bir özelliğini yansıtıyor mu? …

21 bayesian  mathematical-statistics  conjugate-prior 

Bazı problemler için bir Monte Carlo simülasyonu kodlarken ve model yeterince basit olduğunda, Gibbs örneklemesi için çok basit bir ders kitabı kullanıyorum. Gibbs örneklemesini kullanmak mümkün olmadığında, yıllar önce öğrendiğim Metropolis-Hastings ders kitabını kodlarım. Ona verdiğim tek düşünce atlama dağılımını veya parametrelerini seçmek. Bu ders kitabı seçeneklerinde gelişen yüzlerce yüzlerce …

21 bayesian  mcmc  gibbs  metropolis-hastings 

Tahmin etmek istediğiniz priori lineer bir modeliniz olduğunda çoklu değerlendirme oldukça basittir . Bununla birlikte, bazı model seçimleri yapmak istediğinizde işler biraz daha zor görünmektedir (örneğin, daha büyük bir aday değişken kümesinden "en iyi" tahmin değişkenleri kümesini bulun - özellikle R'yi kullanarak LASSO ve fraksiyonel polinomları düşünüyorum). Bir fikir, modeli …

21 multiple-regression  multiple-imputation 

RandomForest R paketindeki yanlış sınıflandırma maliyetini kontrol etmek mümkün müdür ? Kendi işimde yanlış negatifler (örneğin, bir insanın bir hastalığa sahip olabileceği gibi yanlış) eksik, yanlış pozitiflerden çok daha maliyetlidir. Rpart paketi , kullanıcının farklı sınıflandırma ağırlıklarına göre farklılıklar için bir kayıp matrisi belirleyerek yanlış sınıflandırma maliyetlerini kontrol etmesine izin …

21 r  classification  random-forest  loss-functions  metric