İstatistikler ve Büyük Veri

R'de sırt regresyonu kullanarak regresyon modelinin en iyi değişken çözümünü bulmak için bazı veriler uyguladım lm.ridgeve kullandığımda glmnet(ne zaman alpha=0), ancak sonuçlar özellikle ne zaman çok farklı lambda=0. Her iki parametre tahmincisinin de aynı değerlere sahip olduğunu varsayar. Peki, buradaki problem nedir? Saygılarımla

11 r  regression  ridge-regression  glmnet 

Rastgele bir kesişim lojistik regresyonum var (tekrarlanan ölçümler nedeniyle) ve özellikle aykırı değerler ve etkili gözlemlerle ilgili bazı teşhisler yapmak istiyorum. Göze çarpan gözlemler olup olmadığını görmek için artıklara baktım. Ama aynı zamanda Cook'un mesafesi veya DFFITS gibi bir şeye bakmak istiyorum. Hosmer ve Lemeshow (2000), ilişkili veriler için model …

11 mixed-model  outliers  glmm  cooks-distance 

Sürekli rasgele değişkenler için olasılık yoğunluk fonksiyonunun olarak olarak tanımlandığı bir giriş istatistik sınıfındayım . integralinin anlıyorum ama bunu sürekli rastgele değişken sezgilerimle düzeltemiyorum. Diyelim ki X, trenin geldiği dakikadan bu yana geçen dakika sayısına rastgele bir değişkendir. Trenin tam olarak 5 dakika sonra gelme olasılığını nasıl hesaplayabilirim? Bu olasılık …

11 probability  random-variable  pdf  continuous-data 

Başka bir istatistiksel testin sonucuna dayalı bir istatistiksel test seçmenin problemli olduğu iyi bilinmektedir, çünkü p-değerlerini yorumlamak imkansızdır (örn . Başka bir sonuca dayalı bir istatistiksel test seçmek (örn. Normalite) ) . Bununla birlikte, bu hala birçok uygulamada standart bir uygulamadır ve genellikle uygulamalı makalelerde fark edilmemiş veya tartışılmamıştır. Literatüre …

11 hypothesis-testing  references  p-value 

Bana bu görev verildi ve çok şaşırdım. Bir meslektaşım benden aşağıdaki grafiğin ve değerlerini tahmin etmemi istedi :xupperxupperx_{upper}xlowerxlowerx_{lower} Eğri aslında kümülatif bir dağılımdır ve x bir tür ölçümdür. Kümülatif fonksiyon düzleşmeye ve düz olmaktan sapmaya başladığında x'in karşılık gelen değerlerinin ne olduğunu bilmek ister. Bir noktada eğimi bulmak için farklılaşmayı …

11 estimation  pdf  curve-fitting  logistic-curve 

Tahmin aralığının ve güvenilir aralığın aynı şeyi değerlendirip değerlendirmediğini merak ediyorum. Örneğin, doğrusal bir regresyon ile, takılan değerlerin tahmin aralığını tahmin ettiğinizde, değerinizin düşmesini beklediğiniz aralığın sınırlarını tahmin edersiniz. Bir güven aralığının tersine, ortalama değer gibi bir dağıtım parametresine değil, açıklanan değişkeninizin belirli bir X değeri için alabileceği değere ( …

11 bayesian  linear-model  prediction  prediction-interval  credible-interval 

Verileri bir hiyerarşik model içerisinde burada \ lambda \ sim \ textrm {Gama} (\ a \ P) uygulamada tipik olarak görünmektedir değerlerine (seçilmek için \ alfa, \ beta) gama dağılımının ortalaması ve varyansı kabaca y verilerinin ortalaması ve varyansı ile kabaca eşleşecektir (örneğin, Clayton ve Kaldor, 1987 "Hastalık Haritalaması için …

11 poisson-distribution  gamma-distribution  hierarchical-bayesian  hyperparameter 

Jerome Cornfield şunu yazdı: Balıkçı devriminin en iyi meyvelerinden biri, rasgeleleştirme fikriydi ve birkaç başka şey üzerinde anlaşan istatistikçiler en azından bu konuda anlaştılar. Ancak bu anlaşmaya ve klinik ve diğer deney şekillerinde randomize tahsis prosedürlerinin yaygın olarak kullanılmasına rağmen, mantıksal durumu, yani tam olarak yerine getirdiği işlev hala belirsizdir. …

11 small-sample  random-allocation 

R'deki tsboot çağrısının yorumlanmasıyla ilgili bir sorum var. Hem Kendall hem de önyükleme paketinin belgelerini kontrol ettim, ancak eskisinden daha akıllı değilim. Örneğin test paketinin Kendall'ın tau olduğu Kendall paketindeki örneği kullanarak bir bootstrap çalıştırdığımda: library(Kendall) # Annual precipitation entire Great Lakes # The Mann-Kendall trend test confirms the upward …

11 r  bootstrap 

Bir probit modeline uyması için aşağıdaki R kodunu kullandım: p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1) stepwise(p1, direction='backward/forward', criterion='BIC') Ben yok ne olduğunu bilmek istiyorum stepwiseve backward/forwardtam olarak ne yapacağını ve nasıl değişkenleri seçmek?

11 r  probit  stepwise-regression 

Tam koşullu koşulların türetilmesi genellikle zordur, ancak JAGS ve HATA gibi programlar otomatik olarak türetilir. Birisi herhangi bir keyfi model belirtimi için algoritmik olarak tam koşulların nasıl oluşturulduğunu açıklayabilir mi?

11 bayesian  conditional-probability  jags  bugs  gibbs 

Amelia'yı R'de kullanarak, birden fazla gizli veri kümesi elde ettim. Bundan sonra, SPSS'de tekrarlanan bir ölçüm testi yaptım. Şimdi, test sonuçlarını havuzlamak istiyorum. Rubin kurallarını (R'deki herhangi bir çoklu imputasyon paketi aracılığıyla uygulanır) havuz araçlarını ve standart hataları havuzlamak için kullanabileceğimi biliyorum, ancak p-değerlerini nasıl havuzlayabilirim? Mümkün mü? R'de bunu …

11 r  spss  p-value  multiple-imputation  pooling 

2 sınıf etiketli veriler için birden fazla sınıflandırıcı kullanarak sınıflandırma yaptım ve 5 kat çapraz doğrulama kullandım. Her kat için tp, tn, fp ve fn hesapladım. Sonra her test için doğruluk, kesinlik, geri çağırma ve F-skorunu hesapladım. Sorum şu: Sonuçları ortalamak istediğimde, ortalama doğrulukları aldım, ancak hassasiyeti, hatırlamayı ve F-puanını …

11 classification  cross-validation  precision-recall 

GBM'deki ağaç sayısını seçmek için bir strateji var mı? Özellikle, ntreesiçinde argüman Rbireyin gbmfonksiyonu. Neden ntreesen yüksek değere ayarlamamanız gerektiğini anlamıyorum . Daha fazla sayıda ağacın birden fazla GBM'den elde edilen sonuçların değişkenliğini açıkça azalttığını fark ettim. Çok sayıda ağacın aşırı sığmaya yol açacağını düşünmüyorum. Düşüncesi olan var mı?

11 r  machine-learning  gbm 

Bir blog gönderisinde , "Ben WG Cochrane ilk gözlem (kabaca 1970'lerde) bir gözlem ortamında güven aralıklarla, küçük örnek boyutları sıfır kapsama alanı sağlayan yeterince büyük örnekleri ile daha iyi kapsama neden olduğuna inanıyorum!" Şimdi, CI genişliğinin artan örnek boyutu ile 0'a yaklaşması gerektiğini varsayıyorum, ancak kapsamın aynı anda kötüleşeceği fikri …

11 confidence-interval  t-test  simulation