İstatistikler ve Büyük Veri

Çok seviyeli bir modelde, tahmin etmeme ve rastlantısal etki korelasyonu parametrelerini tahmin etmenin pratik ve yorumlama ile ilgili etkileri nelerdir? Bunu sormanın pratik nedeni, R'deki lmer çerçevede, parametreler arasındaki korelasyon modelinde tahminler yapıldığında, MCMC teknikleri ile p-değerleri tahmin etmek için uygulanan bir yöntem bulunmamasıdır. Örneğin, bu örneğe bakıldığında (aşağıda alıntı …

27 r  mixed-model  lme4-nlme  random-effects-model 

R'de ısı haritaları oluşturmak için bir dizi fonksiyon olduğunu bilmeme rağmen, sorun görsel olarak çekici haritalar üretemem. Örneğin, aşağıdaki resimlerden kaçınmak istediğim iyi ısı haritaları örnekleri. Birincisi açıkça ayrıntıdan yoksun, diğeri (aynı noktalara dayanarak) faydalı olamayacak kadar ayrıntılı. Her iki grafik de spatstat R paketindeki density () işleviyle oluşturulmuştur . …

27 r  data-visualization  spatial 

Dağılım planım var. Doğrusal olmayan trend çizgisini nasıl ekleyebilirim?

27 r  data-visualization  nonlinear-regression  trend 

Çok yorucu olduklarını iddia ettiklerini (bu tür kitaplardaki örnekler her zaman olduğu gibi ayarlandılar, gerçekten de öyle olduklarını) çok fazla gördüm, öte yandan da kitapların özel olması gerektiğini belirten birçok kez gördüm ( örnek için olarak ve olarak ) ayrıntılı sorunu açıklık yoktur. Sadece bu soruyu yazmadan önce Wikipedia sayfasında …

27 hypothesis-testing 

İstatistik öğretmenimin aşağıdaki sorun hakkında söylediği bir şey hakkında bir sorum var. Benim sorum, bu durumda Simpson'un paradoksunun oluşması hakkında bile değil. Benim sorum basitçe profesörümün A) ve D) 'nin A) ve F) yerine doğru cevaplar olduğu ısrarıyla ilgili. Dedi ki: “E Tipi ameliyatlarda başarı oranı çok düşük olduğu için …

27 self-study  confounding  simpsons-paradox 

Özellikle doğal dil işlemede, makine öğreniminin iki adımda, bir eğitim adımında ve bir değerlendirme adımında ilerlemesi ve farklı veriler kullanması gerektiği iyi bilinir. Bu neden? Sezgisel olarak, bu işlem verilerin fazladan yüklenmesini önlemeye yardımcı olur, ancak durumun (bilgi-teorik) nedenini göremiyorum. Buna göre, sırasıyla 2/3 ve 1/3 gibi bir veri setinin …

27 machine-learning  cross-validation 

Standart girdiden sayı akışını (ascii formatında) kabul eden ve bu akış için min, max, ortalama, ortanca, RMS, quantiles vb. Gibi temel tanımlayıcı istatistikleri veren herhangi bir komut satırı aracı var mı? Çıktı, komut satırı zincirindeki bir sonraki komut tarafından ayrıştırılabilir. Çalışma ortamı Linux, ancak diğer seçenekler açıktır.

27 descriptive-statistics  computational-statistics  computing 

Öncesinde Jeffreys düşünün nereye , nerede Fisher bilgidir.benp ( θ ) ∝ | i ( θ ) |----√p(θ)∝|i(θ)|p(\theta) \propto \sqrt{|i(\theta)|}benii Bunu daha önce bilgilendirici olmayan bir öncelik olarak bahsettiğimi görmeye devam ediyorum, ancak neden bilgilendirici olmadığı konusunda bir tartışma görmedim. Sonuçta, sabit bir öncelik değil, bu yüzden başka bir argüman …

27 bayesian  prior 

Metin sınıflandırmasında yaklaşık 800 örnekli bir eğitim setim ve yaklaşık 150 örnekli bir test setim var. Test seti hiç kullanılmamış ve sonuna kadar kullanılmayı bekliyor. Sınıflayıcıları ve özellikleri ayarlarken ve ayarlarken 10 kat çapraz doğrulama ile tüm 800 örnek eğitim setini kullanıyorum. Bu, ayrı bir doğrulama setine sahip olmadığım anlamına …

27 machine-learning  classification  cross-validation  text-mining 

Bu terminoloji ile ilgili bir sorudur. "Belirsiz bir önceki", bilgilendirici olmayan bir öncekiyle aynı mıdır, yoksa ikisi arasında bir fark var mı? Benim izlenimim, aynı oldukları (birlikte belirsiz ve bilgilendirici olmayanları aramaktan) olduğu, ancak emin olamadığım.

27 bayesian  prior  terminology 

Rpart (R) kullanarak bir CART modeli (özellikle sınıflandırma ağacı) oluştururken, modele tanıtılan çeşitli değişkenlerin önemini bilmek genellikle ilginçtir. Dolayısıyla benim sorum şu: Bir CART modelinde katılımcı değişkenlerin değişken önem derecesini sıralamak / ölçmek için hangi ortak önlemler var? Ve bu nasıl R kullanılarak hesaplanabilir (örneğin, rpart paketini kullanırken) Mesela, işte …

27 r  classification  model-selection  cart  rpart 

R'de sembolik hesaplama yapmanın mümkün olup olmadığını merak ediyordum. Örneğin, 3D Gauss dağılımının sembolik bir kovaryans matrisinin tersini almayı umuyordum. Ayrıca R'de sembolik bütünleşme ve farklılaşma yapabilir miyim?

27 r 

Bazı yazılım paketlerinde (örneğin Mathematica) doğrusal bir regresyon gerçekleştirdiğimde, modeldeki bireysel parametrelerle ilişkili p-değerleri alıyorum. Örneğin, sonucunu üreten bir doğrusal regresyonun sonuçları, a ve bir ile b ile ax+bax+bax+bilişkili bir p değerine sahip olacaktır .aaabbb Bu p değerleri bu parametreler hakkında bireysel olarak ne anlama geliyor? Herhangi bir regresyon modeli …

27 probability  regression 

Doğrusal olmayan modelleri R'de karşılaştırmak için AIC'yi (Akaike'ın Bilgi Ölçütü) kullanıyorum. Farklı model türlerinin AIC'lerini karşılaştırmak geçerli midir? Spesifik olarak, glm ile takılmış bir modeli karşılaştırırken, glmer (lme4) tarafından takılan rastgele etki terimine sahip bir modeli karşılaştırıyorum. Olmazsa, böyle bir karşılaştırma yapmanın bir yolu var mı? Yoksa fikir tamamen geçersiz …

27 lme4-nlme  model-selection  aic 

Tüm değişkenlerim sürekli. Seviye yok. Hatta mümkün mü var değişkenler arasındaki etkileşimi?

27 regression  modeling  interaction