İstatistikler ve Büyük Veri

İşte benim örnek için bir QQ grafiği (logaritmik Y ekseni dikkat edin); :n=1000n=1000n = 1000 Whuber tarafından işaret edildiği gibi, bu, alttaki dağılımın sola eğik olduğunu gösterir (sağ kuyruk daha kısadır). shapiro.testR'de (log dönüştürülmüş verilerde) kullanarak , test istatistiklerini ve p değerini , bu da null hipotezini resmen reddettiğimiz anlamına …

11 interpretation  lognormal  qq-plot 

SO Data Explorer kullanarak SO itibar dağıtım Gini dizini hesaplamak çalışıyorum. Uygulamaya çalıştığım denklem şudur: Burada: = sitedeki kullanıcı sayısı; = kullanıcı seri kimliği (1 - 1,225,000); = kullanıcısının itibarı .niyiiG ( S) = 1n - 1( n + 1 - 2 ( ∑ni = 1( n + 1 - …

11 gini 

Orantılılık olasılıkları varsayımı olmadan R'de sıralı bir lojistik regresyon yapmak istiyorum. Bu ayarı kullanarak vglm()fonksiyonu kullanarak doğrudan yapılabilir biliyorum .Rparallel=FALSE Ama benim sorunum, bu regresyon düzeninde belirli bir katsayı setinin nasıl düzeltileceği? Örneğin, bağımlı değişken ayrık ve sıralı olduğunu ve Y = 1 , 2 veya 3 değerlerini alabileceğini varsayalım …

11 r  regression  logistic 

Çok değişkenli bir Cox orantılı tehlike modelinde, Schoenfeld kalıntıları değişkenlerden biri için düz değilse, bu tüm modeli geçersiz kılar mı yoksa sadece düşük performans gösteren değişken göz ardı edilebilir mi? Yani, diğer değişkenler için katsayıları yorumlamakla birlikte, düşük performans gösteren değişken için elde edilen katsayıları yorumlamamaktadır. Schoenfeld artıklarının düz olmadığı …

11 residuals  cox-model  schoenfeld-residuals 

"Model 1" ile veri oluşturmak ve bunları "Model 2" ile sığdırmak istiyorum. Temel fikir "Model 2" nin sağlamlık özelliklerini araştırmaktır. Özellikle% 95 güven aralığının kapsama oranı ile ilgileniyorum (normal yaklaşıma dayanarak). Yineleme çalıştırma sayısını nasıl ayarlayabilirim? Gerekenden daha büyük tekrarların sahte önyargılara neden olabileceği doğru mu? Eğer öyleyse, bu nasıl?

11 simulation  monte-carlo 

R'de bir glm koştum ve summary()çıktının altına yakın bir yerde (Dispersion parameter for gaussian family taken to be 28.35031) Google'da bazı rummaging yaptım ve dispersiyon parametresinin standart hatalara uyacak şekilde kullanıldığını öğrendim. Birisinin dağılım parametresinin ne olduğu ve nasıl yorumlanması gerektiği hakkında daha fazla ayrıntı sağlayabileceğini umuyorum.

11 r  generalized-linear-model 

Saf matematik (lisans teorisi, fonksiyonel analiz, operatör cebiri, vb) lisans düzeyinde bir arka plan var Ayrıca olasılık teorisi (temel ilkelerden makine öğrenme teknikleri) bilgi gerektiren bir iş var. Benim sorum: Birisi kanonik okuma ve referans malzemeleri sağlayabilir: Olasılık teorisine müstakil giriş Teorik metodolojileri ve kanıtları ölçmekten çekinmeyin Uygulanan tekniklere büyük …

11 probability  references 

İstatistiksel Öğrenme Unsurları'nda (Hastie, Tibshrani & Friedman) Bölüm 3'ü okuduktan sonra, bir kovaryans yapısı göz önüne alındığında, bu sorunun başlığında alıntılanan ünlü büzülme yöntemlerinin uygulanmasının mümkün olup olmadığını merak ettim, ) miktar ( y⃗ - Xβ⃗ )TV- 1( y⃗ - Xβ⃗ ) + λ f( β) , ( 1 ) …

11 lasso  ridge-regression 

Lambda'mı çapraz doğrulama ile belirlediğimde, tüm katsayılar sıfır olur. Ancak literatürden bazı öngörücülerin sonuçları kesinlikle etkilemesi gerektiğine dair bazı ipuçları var. İstenildiği kadar çok azlık olması için lambda'yı keyfi olarak seçmek saçma mıdır? Bir cox modeli için 135'ten en iyi 10'u tahmin etmek istiyorum ve ne yazık ki efekt boyutları …

11 lasso 

Çapraz geçerliliğin bilinen Bayesian, ML veya MDL yorumları var mı? Çapraz doğrulamayı özel olarak hazırlanmış bir önceden doğru güncellemeyi yapmak olarak yorumlayabilir miyim?

11 bayesian  cross-validation  maximum-likelihood 

Amacım, bir dizi bağımsız değişken verilen gerçek sonuçları tahmin etmek için konuyla ilgili önceki araştırmalardan elde edilen katsayıları kullanmaktır. Bununla birlikte, araştırma makalesinde sadece Beta katsayıları ve t-değeri listelenmektedir. Standartlaştırılmış katsayıları standartlaştırılmamış katsayılara dönüştürmenin mümkün olup olmadığını bilmek istiyorum. Öngörülen değeri hesaplamak için standartlaştırılmamış bağımsız değişkenlerimi standartlaştırılmış değişkenlere dönüştürmek yararlı …

11 regression-coefficients 

Doğrusal olmayan bağımlılıkları tespit edebilecek Ramsey Sıfırlama testinin farkındayım. Bununla birlikte, regresyon katsayılarından birini (sadece doğrusal bağımlılıklar) dışarı atarsanız, korelasyonlara bağlı olarak bir önyargı alabilirsiniz. Sıfırlama testi tarafından açıkça algılanmaz. Bu durum için bir test bulamadım, ancak şu ifade: "OVB için test edilemez, potansiyel atlanan değişkenler hariç." Muhtemelen makul bir …

11 regression  multiple-regression  bias  causality  diagnostic 

Arka fon: Psikolojide tipik bir meta-analiz, iki X ve Y değişkeni arasındaki korelasyonu modellemeye çalışabilir. Analiz tipik olarak, örnek boyutları ile birlikte literatürden bir dizi ilgili korelasyon elde edilmesini içerecektir. Formüller daha sonra ağırlıklı ortalama korelasyonu hesaplamak için uygulanabilir. Daha sonra, korelasyonların çalışmalarda rastgele örneklemenin etkileriyle ima edilenden daha fazla …

11 simulation  meta-analysis 

Veri madenciliğinde çalışan bir bilgisayar bilimcisiyim. Bilgisayar bilimcilerinin sistematik deneysel tasarım ve değerlendirme yapmada oldukça fakir olduklarını söylemek bir sır değil - p-değerleri ve güven tahminlerinin kullanımı ileri kabul ediliyor :). Bilgisayar bilim insanlarına iyi deneysel tasarım hakkında bilgi vermek için iyi dersler / materyaller olup olmadığını bilmek istiyorum. Bunu …

11 references  experiment-design 

Onun içinde yanıt önceki sorunun, @Erik S. ekspresyon veren burada olan aşırı basıklık dağılım. Örnek varyansının dağılımı ile ilgili Wikipedia girişine bir referans verilmiştir, ancak wikipedia sayfasında "alıntı gerekli" yazmaktadır.κV a r [ s2] = σ4( 2n - 1+ κn),Var[s2]=σ4(2n−1+κn), \mathrm{Var}[s^2]=\sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right) \>, κκ\kappa Asıl sorum şu, bu …

11 estimation  variance  references