İstatistikler ve Büyük Veri

Kayıtsızlık ilkesini kullanarak Jaynes'in Bertrand paradoksuna çözümünü düşünün . Benzer bir argüman Borel-Kolmogorov paradoksu için neden geçerli değil ? Problemin küre için bir yönelim belirtmediğinden, kürenin döndürülmesinin seçilen sınırlama işleminin ulaştığı dağıtımı etkilememesi gerektiğini iddia etmekte bir yanlışlık var mı?

15 theory  paradox 

coxphBirçok değişken içeren R kullanarak Cox orantılı tehlikeler regresyon yapıyorum . Martingale kalıntıları harika görünüyor ve Schoenfeld kalıntıları ALMOST için tüm değişkenler için harika. Schoenfeld kalıntıları düz olmayan üç değişken vardır ve değişkenlerin doğası zamanla değişebilecekleri mantıklıdır. Bunlar gerçekten ilgilenmediğim değişkenler, bu yüzden onları katman haline getirmek iyi olur. Ancak …

15 r  model  cox-model  hazard  schoenfeld-residuals 

Bu terim, yöntemle ilgili iş parçacıklarında sıklıkla görülür . Is karıştırma veri madenciliği ve istatistik öğrenme belirli bir yöntem? Google'dan alakalı bir sonuç alamıyorum. Karıştırma, birçok modelin sonuçlarını karıştırıyor ve daha iyi bir sonuç veriyor. Bu konuda daha fazla bilgi edinmeme yardımcı olan herhangi bir kaynak var mı?

15 machine-learning  data-mining  unsupervised-learning  statistical-learning 

Bir ödevin parçası olarak, iki öngörücü değişkenli bir modele uymak zorunda kaldım. Daha sonra dahil edilen öngörücülerden birine karşı modellerin kalıntılarını çizmek ve buna göre değişiklikler yapmak zorunda kaldım. Arsa eğrisel bir eğilim gösterdi ve ben de bu öngörücü için ikinci dereceden bir terim ekledim. Yeni model, ikinci dereceden terimin …

15 statistical-significance  multiple-regression  modeling 

En güçlü korelasyona sahip (sadece iki boyut boyunca) daha büyük bir havuzdan veri noktalarının alt kümesini seçmek için bazı standart prosedürler var mı (referans olarak gösterilebilir)? Örneğin, 100 veri noktanız olduğunu varsayalım. X ve Y boyutları boyunca mümkün olan en güçlü korelasyona sahip 40 noktadan oluşan bir alt küme istiyorsunuz. …

15 regression  correlation  autocorrelation 

Güven aralığını hesaplamak için bu video dersinden bahsediyordum . Ancak, bazı karışıklıklarım var. Bu adam hesaplama için istatistiklerini kullanıyor . Ancak, bunun istatistik olması gerektiğini düşünüyorum . Bize nüfusun gerçek standart sapması verilmiyor. Doğru olanı tahmin etmek için örnek standart sapmayı kullanıyoruz.zzzttt Peki neden yerine güven aralığı için normal dağılım …

15 confidence-interval  t-distribution 

Kaynaklara atıfta bulunulmaksızın , Wikipedia , ve ayrı dağılımlarının çapraz entropisini tanımlar.PPPSSQ 'Hx( P; S )= - ∑xp ( x )günlükq( x ) .'Hx(P;S)=-Σxp(x)günlük⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Bu miktarı ilk kullanmaya başlayan kimdi? Ve bu terimi kim icat etti? Baktım: JE Shore ve RW Johnson, …

15 information-theory  entropy 

Çok değişkenli doğrusal bir modeli gerilemek için R MASS paketinde rlm kullanıyorum. Birkaç örnek için iyi çalışır, ancak belirli bir model için yarı-null katsayıları alıyorum: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = na.omit) Residuals: Min 1Q Median …

15 r  multiple-regression  robust 

Varsayalım X 2 ∼ unif ( n , 0 , 1 ) ,X1∼ unif ( n , 0 , 1 ),X1~UNIF(n,0,1),X_1 \sim \textrm{unif}(n,0,1), X2∼ unif ( n , 0 , 1 ) ,X2~UNIF(n,0,1),X_2 \sim \textrm{unif}(n,0,1), burada n boyutunda tek tip rastgele bir örnektir veunif ( n , 0 , 1 …

15 r  correlation  random-generation  uniform 

Geçen hafta iyi bir arkadaşımla ilginç bir tartışma yaşadım. Biraz çevrimiçi poker oynuyordu ve yeni abonelik / ek para transferi ile dağıtılan kartlar arasında bir ilişki olduğunu öne sürdü, yani bağlanmak için iyi kartlar aldınız. Bu doğru olsaydı ama sorun hala beni büyülüyorsa, siteler muhtemelen çok riskli olurdu. Buna ilk …

15 binomial  games  wilcoxon-signed-rank 

Zaman serilerinde bir anormallik tespit etmek için bir algoritma kurmak istiyorum ve bunun için kümeleme kullanmayı planlıyorum. Neden ham zaman serisi verilerini değil, kümeleme için bir mesafe matrisi kullanmalıyım ?, Anomalinin tespiti için yoğunluk tabanlı kümeleme, DBscan olarak bir algoritma kullanacağım, bu durumda bu işe yarar mı? Veri akışı için …

15 time-series  clustering  trend 

Bir makine öğrenimi kursu okuyorum ve ders slaytlarında önerilen kitapla çeliştiğim bilgiler var. Sorun şudur: üç sınıflandırıcı vardır: daha düşük eşik aralıklarında daha iyi performans sağlayan A sınıflandırıcısı , daha yüksek eşik aralıklarında daha iyi performans sağlayan Sınıflandırıcı B , Sınıflandırıcı C bir p-coin çevirerek ve iki sınıflandırıcıdan seçerek elde …

15 machine-learning  probability  data-visualization  classification  roc 

Ben çok fonksiyonel veri analizi (FDA) yeni. Okuyorum: Ramsay, James O. ve Silverman, Bernard W. (2006), Fonksiyonel Veri Analizi, 2. Baskı, Springer, New York. Ancak, FDA'yı nerede / ne zaman kullanacağım hala net değil mi? Birisi bana özellikle tıbbi çalışmalarda örnek verebilir mi? Pratikte FDA'yı nereye / ne zaman uygulayacağımı …

15 statistical-significance  cross-validation  nonparametric 

Doğrusal olmayan bir modelde bir gruplama değişkeninin kullanımı ile ilgili bir sorum var. Nls () işlevi faktör değişkenlerine izin vermediğinden, bir faktörün model uyum üzerindeki etkisini test edip edemeyeceğini anlamaya çalışıyorum. Aşağıda, farklı büyüme tedavilerine (çoğunlukla balık büyümesine uygulanan) bir "mevsimsel von Bertalanffy" büyüme modelini yerleştirmek istediğim bir örnek ekledim. …

15 r  mixed-model  nls 

"Önyükleme doğrulaması" / "çapraz doğrulamayı yeniden örnekleme" benim için yeni, ancak bu sorunun cevabı ile tartışıldı . 2 tür veri içerir: Simüle edilmiş veriler gerçek verilerle aynı boyuta ulaşıncaya kadar değiştirilerek yeniden örnekleme ile gerçek verilerden belirli bir simüle edilmiş veri kümesi oluşturulduğu gerçek veriler ve simüle edilmiş veriler. Bu …

15 cross-validation  bootstrap  validation  resampling