İstatistikler ve Büyük Veri

Örneğin, geçmiş hisse senedi fiyatları, havayolu bilet fiyatı dalgalanmaları, şirketin geçmiş finansal verileri gibi bazı geçmiş verilere sahibim ... Şimdi birileri (ya da bazı formüller) gelir ve "hadi dağıtım günlüğünü alalım / kullanalım" der ve işte NEREYE GİTİRİM ? Sorular: Niçin birincisi dağıtım günlüğünü almalı? Dağıtım günlüğü, orijinal dağıtımın yapamayacağı …

173 distributions  data-transformation  logarithm 

Küçük bir veri kümesiyle (21 gözlem) çalışıyorum ve R'de aşağıdaki normal QQ grafiğine sahibim: Arsa’nın normalliği desteklemediğini görünce, altta yatan dağıtım hakkında ne çıkartabilirim? Bana öyle geliyor ki, sağa doğru eğilmiş bir dağılım daha iyi bir seçim olabilir, değil mi? Ayrıca, verilerden başka ne gibi sonuçlar çıkarabiliriz?

172 r  data-visualization  inference  qq-plot 

Son zamanlarda birçok insanın tensör eşdeğeri geliştirdiğini fark ettim (tensör faktörizasyonu, tensör çekirdekleri, konu modellemesi için tensörler, vb.) Merak ediyorum, neden dünya aniden tensörlerle büyülendi? Bu konuda ortaya çıkan özellikle şaşırtıcı olan son makaleler / standart sonuçlar var mı? Hesaplamalı olarak daha önce şüphelenilenden çok daha ucuz mu? Glib olmuyorum, …

171 machine-learning  references  matrix  linear-algebra  tensor 

Diyelim ki çok sayıda parametre tahmin etmek istiyorum ve bazılarını cezalandırmak istiyorum çünkü diğerlerine kıyasla daha az etkili olmaları gerektiğine inanıyorum. Hangi ceza planının kullanılacağına nasıl karar verebilirim? Sırt regresyonu ne zaman daha uygun olur? Kement'i ne zaman kullanmalıyım?

167 regression  lasso  ridge-regression 

Favori istatistik tekliflerimiz var. Peki ya istatistik şakalar?

165 references  humor 

Söz konusu bağımsız değişken için daha iyi davranışlı bir dağıtım mı arıyorsunuz?

164 regression  distributions  data-transformation  logarithm  regression-strategies 

Sıfırları ve hedef değişkendekileri mükemmel bir şekilde ayıran bir değişkeniniz varsa, R aşağıdaki "mükemmel veya yarı mükemmel ayrılma" uyarı mesajını verecektir: Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Modeli hala alıyoruz, ancak katsayı tahminleri şişiriliyor. Bununla pratikte nasıl başa çıkıyorsunuz?

163 r  regression  logistic  separation 

Geçenlerde , John Myles White'dan bu blog gönderisine bağlantı yapan ve Julia adlı yeni bir dil hakkında R-Blogger’lardan bir yazı okudum . Julia, hızlı çalışma sürelerini kötüleştiren tam zamanında bir derleyiciden yararlanır ve C / C ++ ile aynı hızda (aynı sırada değil , aynı sırada ) verir. Dahası, R'nin …

161 r  computational-statistics  software  computing  julia 

Bu forumda, çeşitli hiyerarşik modelleri belirlemenin doğru yolu hakkında çok fazla tartışma var lmer. Tüm bilgilerin bir yerde olmasının harika olacağını düşündüm. Başlamak için birkaç soru: Nasıl bir grubun diğerini içinde yuvalanmış farklı seviyelerini belirlemek için: öyle (1|group1:group2)ya (1+group1|group2)? Arasındaki fark nedir (~1 + ....)ve (1 | ...)ve (0 | …

160 r  mixed-model  random-effects-model  fixed-effects-model  lme4-nlme 

Aralarındaki biçimsel farklılıkları anlıyorum, bilmek istediğim biri ile diğerini kullanmanın daha uygun olduğu zaman. Belirli bir sınıflandırma / tespit sisteminin performansı hakkında her zaman tamamlayıcı bir içgörü sağlıyorlar mı? İkisinin de bir gazetede sunulması ne zaman mantıklıdır? sadece bir tane yerine? Bir sınıflandırma sistemi için hem ROC hem de hassas …

159 machine-learning  roc  precision-recall 

Bir veri setini okuduktan sonra: dataset <- read.csv("forR.csv") R'nin bana içerdiği dava sayısını vermesini nasıl sağlayabilirim? Ayrıca, iade edilen değer, ihmal edilen davaları içermez na.omit(dataset)mi?

157 r 

Üreticinin " 'ye dayalı" ve ayırımcı " göre" anlamına geldiğini biliyorum ancak birkaç noktada kafam karıştı:P(x,y)P(x,y)P(x,y)P(y|x)P(y|x)P(y|x) Wikipedia (+, web'deki diğer birçok isabet), SVM'ler ve karar ağaçları gibi şeyleri ayrımcı olarak sınıflandırıyor. Ancak bunların olasılıksal yorumları bile yok. Ayrımcı burada ne anlama geliyor? Ayrımcı sadece üretken olmayan bir şey ifade ediyor …

153 machine-learning  generative-models 

Korelasyon matrisi ve kovaryans matrisi üzerinde ana bileşen analizi (PCA) yapmak arasındaki temel farklar nelerdir? Aynı sonuçları veriyorlar mı?

153 correlation  pca  covariance  factor-analysis 

Açık naif Bayes sınıflandırıcı ilgili Wikipedia sayfasında , bu çizgi vardır: s ( s e i g h t | m bir l e ) = 1,5789p(height|male)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (1'den büyük olasılık dağılımı tamam. Zil eğrisinin altındaki alan 1'e eşittir). Bir değer nasıl tamam olabilir? Tüm olasılık değerlerinin aralığında ifade …

149 distributions  probability  normal-distribution  pdf 

K-kat çapraz doğrulama yaptıktan sonra prediktif bir model seçmeyi merak ediyorum. Bu garip bir şekilde ifade edilebilir, bu yüzden daha ayrıntılı olarak açıklamama izin verin: K-kat çapraz onaylamayı her çalıştırdığımda, eğitim verilerinin K altkümelerini kullanıyorum ve K farklı modellerle bitirdim. K modellerinden birini nasıl seçeceğimi bilmek istiyorum, böylece onu birisine …

148 cross-validation  model-selection