İstatistikler ve Büyük Veri

İstatistik departmanınızın kütüphanesinde olduğunuzu ve ön sayfada aşağıdaki resimle bir kitapla karşılaştığınızı varsayalım. Muhtemelen bunun doğrusal regresyon olayları hakkında bir kitap olduğunu düşüneceksiniz. Doğrusal karışık modeller hakkında düşünmenizi sağlayacak resim ne olurdu?

17 mixed-model 

X ve Y bağımsızsa, iki bağımsız rastgele değişken X ve Y'nin ürününün pdf'si nedir? X normal dağılıma, Y ki-kare dağılımı Z = XY Eğer XXX normal bir dağıtım X∼N(μx,σ2x)X∼N(μx,σx2)X\sim N(\mu_x,\sigma_x^2) fX(x)=1σx2π−−√e−12(x−μxσx)2fX(x)=1σx2πe−12(x−μxσx)2f_X(x)={1\over\sigma_x\sqrt{2\pi}}e^{-{1\over2}({x-\mu_x\over\sigma_x})^2} veYYY,kkkserbestlik derecesi ile Ki-kare dağılımına sahiptirY∼χ2kY∼χk2Y\sim \chi_k^2 fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)f_Y(y)={y^{(k/2)-1}e^{-y/2}\over{2^{k/2}\Gamma({k\over2})}}u(y) whreu(y)u(y)u(y)birim basamak fonksiyonudur. Şimdi, bir pdf nedir ZZZ eğer XXX ve …

17 normal-distribution  chi-squared  random-variable 

Ülkemdeki yerel haber web sitelerini taradığım ve bir suç endeksi ve siyasi istikrarsızlık endeksi oluşturmak istediğim bu yan projem var. Projenin bilgi erişim kısmını zaten ele aldım. Benim planım: Denetimsiz konu çıkarımı. Yakın kopya tespiti. Denetimli sınıflandırma ve olay seviyesi (suç / politik - yüksek / orta / düşük). Python …

17 machine-learning  classification  text-mining 

Sinir ağları alanına daldım ve onlarla büyülendim. Sonunda borsalarda ticaret sistemlerini test etmek için bir uygulama çerçevesi geliştirdim ve şimdi ilk sinir ağımı buna uygulayacağım. Çok basit ve ilkel olan, sadece yeni başlayanlar için gerçek ticaret için tasarlanmamıştır. Sadece yaklaşımımın iyi bir yaklaşım olup olmadığını bilmek istiyorum. Ve eğer bir …

17 machine-learning  neural-networks 

Sunumlar için grafikleri en iyi şekilde nasıl biçimlendireceğiniz konusunda tavsiye / kaynak / tavsiye arıyorum. Deneyimden, baskı yayını için üretilen bir grafiğin bir beamer ile görüntülendiğinde çok iyi ölçeklenmediğini biliyorum. Metin genellikle çok küçüktür, satırlar yeterince kalın değildir. Bir beamer ile geniş bir kitleye grafik sunmak söz konusu olduğunda önerilen …

17 data-visualization 

Palaeo bilimlerinde kullanılan belirli bir model türünü uydurmanın farklı yöntemlerinin bilgisayar tabanlı bir değerlendirmesini yaptım. Büyük bir ish eğitim setim vardı ve bu yüzden rastgele (tabakalı rastgele örnekleme) bir test setini ayırdım. I donatılmış eğitim seti örnekleri için farklı yöntemler kullanılarak m modelleri Elde edilen I test seti örnekleri için …

17 r  mixed-model  multiple-comparisons  simulation  independence 

R'de sıfır şişirilmiş negatif binom karışık etkiler model tahmini sağlayan böyle bir paket var mı? Bununla demek istediğim: Pscl paketindeki zeroinfl işlevinde olduğu gibi sıfır enflasyon için binom modelini belirtebileceğiniz sıfır enflasyon: zeroinfl (y ~ X | Z, dist = "negbin") burada Z sıfır enflasyon modelinin formülüdür; Modelin sayım kısmı …

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

Bir zamanlar gerçekten sevdiğim internette kategorik veriler (örn. Beklenmedik tablolar) için bir tür arsa üzerinde tökezledim, ancak bir daha asla bulamadım ve bunun ne olduğunu bile bilmiyorum. Esasen bir elek grafiğine benziyordu, çünkü satır yükseklikleri ve sütun genişlikleri marjinal olasılıklara göre ölçeklendirildi. Böylece, her bir kutu bağımsızlık altında beklenen göreceli …

17 r  data-visualization  categorical-data 

Bu kısmen aşağıdakiler tarafından motive edilmektedir soru ve onu takip eden tartışma . Iid örneğinin gözlendiğini varsayalım, Xi∼F(x,θ)Xi∼F(x,θ)X_i\sim F(x,\theta) . Amaç değerini tahmin etmektir θθ\theta. Ancak orijinal örnek mevcut değildir. Ne yerine sahip numunenin bazı istatistikler T1,...,TkT1,...,TkT_1,...,T_k . Diyelim ki kkk sabittir. nasıl tahmin edilir θθ\theta? Bu durumda maksimum olabilirlik …

17 estimation  maximum-likelihood 

Bir dizi gözlenen dizinin bir Markov zinciri olduğundan şüpheleniyorum ... X=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AAD⋮BCA⋮E⎞⎠⎟⎟⎟⎟X=(ACDDBACBAACADA⋮⋮⋮⋮⋮⋮⋮BCADABE)X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right) Ancak P ( X i = x i …

17 markov-process 

Her biri yaklaşık 400 ve yaklaşık 300 tahmin ediciye sahip iki grup denek var, A ve B. Amacım ikili yanıt değişkeni için bir tahmin modeli oluşturmak. Müşterim, A'dan B'ye inşa edilen modeli uygulamanın sonucunu görmek istiyor. güç ve hassasiyet --- bakınız sayfa 90, Harici Doğrulama: Sahip olduğum veri türünün toplanmasının …

17 pca  logistic  predictive-models  robust 

Sürekli bağımlı y değişkeni ve sıra değişkeni X 1 dahil bağımsız değişkenler göz önüne alındığında , doğrusal bir modeli nasıl yerleştirebilirim R? Bu tür model hakkında makaleler var mı?

17 r  regression  lasso  ordinal-data  predictor 

Ridge Regression'ı bir Python / C modülünde uyguluyorum ve bu "küçük" problemle karşılaştım. Fikir, etkin serbestlik derecelerini aşağı yukarı eşit aralıklarla ( "İstatistiksel Öğrenmenin Öğeleri" sayfa 65'teki çizim gibi ) örneklemek istiyorum, yani örnek: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda},d2idi2d_i^2XTXXTXX^TXdf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0 iladf(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=p . İlk sınırı belirlemenin kolay bir yolu,λmax=∑pid2i/cλmax=∑ipdi2/c\lambda_{\max}=\sum_i^p d_i^2/c ( varsayarak)izin vermektirλmax≫d2iλmax≫di2\lambda_{\max} \gg d_i^2; …

17 ridge-regression 

Parametrik olmayan testlerimden ayrı olarak öznel sıralamaları görselleştirmenin yolunu arıyorum. 12 katılımcıdan farklı öznel ölçütlere göre (her biri için ayrı sıralama) 8 farklı öğe sıralamasını istedim. Herhangi bir bireysel sıralama için, sıralamaların üst düzey trendlerini görselleştirmek için iyi bir yol arıyorum. Ortalama sıralamalarda hem bar hem de radar arazilerini denedim …

17 data-visualization  nonparametric  excel  ranking 

Küçük bir örneklem büyüklüğümüz varsa, önceki dağılım posterior dağılımı çok etkiler mi?

17 bayesian  sample-size  prior