İstatistikler ve Büyük Veri

İstatistik konusunda uzman değilim, ama bir "sık" ya da "Bayes" olasılık yorumunun "doğru" olup olmadığı konusunda anlaşmazlık var. Gönderen Wagenmakers et. al p. 183: Ortalama ve genişlik ile eşit bir dağılım düşünün . En küçük bir etiket, bu dağıtımdan rastgele iki değeri çizin ve en büyüğü ve ortalama kontrol arasına …

9 bayesian  confidence-interval  frequentist  philosophical 

Doğrusal bir SVM modeli için denklemi verebilecek bir pakete ihtiyacım var. Şu anda e1071'i şu şekilde kullanıyorum : library(e1071) m = svm(data, labels, type='C', kernel='linear', cost=cost, probability=FALSE, scale=scale) w = t(m$coefs) %*% data[m$index,] #Weight vector b = -model$rho #Offset Ancak, nasıl e1071::svm()pozitif ve negatif sınıfları seçtiğinden emin değilim , bu …

9 r  svm  e1071 

Bir (kkk-sınıf) sınıflandırma problemi, bir tanesi diğerlerinden çok daha fazla açıklayıcı güce sahip gibi görünen 100 gerçek değerli tahminci sırasına göre. Diğer değişkenlerin etkilerini derinleştirmek istiyorum. Bununla birlikte, standart makine öğrenme teknikleri (rastgele ormanlar, SVM'ler, vb.) Bir güçlü öngörücü tarafından gömülüyor ve bana diğerleri hakkında çok ilginç bilgi vermiyor. Eğer …

9 machine-learning  classification 

Bana bazı belge koleksiyonları için duyarlılık analizi yürütme projesi atanmıştı. Googling ile, duygularla ilgili birçok araştırma ortaya çıktı. Sorularım: Makine öğrenimi ve istatistiksel analiz alanında duyarlılık analizi için başlıca yöntemler / algoritmalar nelerdir? İyi belirlenmiş sonuçlar var mı? Duygu analizini gerçekleştirebilecek herhangi bir açık kaynaklı yazılım var mı?

9 machine-learning  data-mining  text-mining  information-retrieval  sentiment-analysis 

"Tam rastgelelik" varsayıldığında ve her bir karakterin 62 olası karakterden biri olabileceği 20 karakter uzunluğunda bir dize verildi: Toplam olası kombinasyon sayısı nedir? (20'yi 62'nin gücüne tahmin etmek.) Ayrıca, yeni dizeler birbiri ardına rastgele seçilir ve şimdiye kadar seçilen dizeler listesine eklenirse, önceden seçili bir dizeyi seçme şansı için kaç …

9 probability  combinatorics 

cor()Ve cor.test()işlevlerini kullanmada sorun yaşıyorum . Ben sadece iki matris (sadece sayısal değerler ve aynı satır ve sütun sayısı) var ve ben korelasyon numarası ve karşılık gelen p-değeri istiyorum. Kullandığımda cor(matrix1, matrix2)tüm hücreler için korelasyon katsayılarını elde ediyorum. Kor sonucu sadece tek bir sayı istiyorum. Buna ek olarak cor.test(matrix1, matrix2), …

9 r  correlation 

Göre , Örnek ile regresyon analizi standardize artıkları dikkate almak gerekir, kalıntı yanıt ve tahmin edilen değer arasındaki fark, o zaman, her bir kalıntı farklı varyans sahip olduğu söylenir. Ancak varyans bir grup değer içindir, tek bir değerin nasıl varyansı olabilir?

9 regression  residuals 

Diğer şeylerin yanı sıra öğrencilere annelerinin eğitim seviyelerinin sorulduğu geniş bir anketim var. Bazıları atladı ve bazıları yanlış cevapladı. Bunu biliyorum, çünkü ilk yanıt verenlerin bir alt örneği daha sonra anneler ile görüşülmüş ve aynı soruyu sordular. (Eminim annelerin tepkileriyle ilgili daha küçük bir miktar hata vardır.) Zorluğum, bu ikinci, …

9 data-imputation 

Sunucu yanıt gecikmesi için birkaç test sonucum var. Teori analizimize göre, gecikme dağılımı (yanıt gecikmesinin olasılık dağılım fonksiyonu) ağır kuyruk davranışına sahip olmalıdır. Ancak test sonucunun ağır kuyruk dağılımını takip ettiğini nasıl kanıtlayabilirim?

9 regression  distributions  probability  normal-distribution  mathematical-statistics 

R kullanarak, sürekli ve ayrık öngörücülerin bir karışımından tek bir yanıt değişkeni için doğrusal bir model yerleştirdim. Bu uber-temel, ama ayrık bir faktör için bir katsayının nasıl çalıştığını kavramada sorun yaşıyorum. Kavram: Açıkçası, sürekli değişken 'x' katsayısı formda uygulanır, y = coefx(varx) + interceptancak faktör sayısal değilse bu bir faktör …

9 linear-model  regression-coefficients  contrasts 

Bazı istatistiksel yöntemlere - temel bileşen analizi mi yoksa bunun gibi bir şey mi olduğunu hatırlamıyorum - bazen "Fransız veri analizi" olarak adlandırılır. Tam olarak nedir? Ve bazı insanlar bu ismin ironik olduğunu söylüyor, doğru mu, neden?

9 multivariate-analysis  terminology  correspondence-analysis 

Bazı verileri sınıflandırmak için bir SVM oluşturmak için R kernlab paketini kullanıyorum . SVM, iyi bir doğruluk 'tahminleri' sağlaması açısından iyi çalışıyor, ancak giriş değişkenleri listem istediğimden daha büyük ve farklı değişkenlerin göreceli önemi konusunda emin değilim. En iyi eğitimli / en uygun SVM üreten girdi değişkenlerinin alt kümesini seçmek …

9 r  machine-learning  svm  genetic-algorithms 

Bunun gibi hayatta kalma verileriniz olduğunu varsayalım: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Standart bir log rank testi yapmak için survdiff(Surv(time, status) ~ group, data = obs, rho = 0) sağ? Peki ya …

9 r  survival  wilcoxon-signed-rank 

Sürekli rasgele bir değişkenin beklenen değeri, normal olmayan bir dağılımda (örn. Çarpık-normal) aritmetik ortalaması, medyanı vb. İle nasıl ilişkilidir? Herhangi bir ortak / ilginç dağıtımlarla ilgileniyorum (örn. Log-normal, basit bi / multimodal dağılımlar, garip ve harika bir şey). Çoğunlukla nitel cevapları arıyorum, ancak herhangi bir niceliksel veya formülik cevap da …

9 mean  expected-value  median 

Çapraz Korelasyon ve Karşılıklı Bilgi arasındaki fark nedir? Bu önlemler kullanılarak ne tür sorunlar çözülebilir ve ne zaman diğerinin üzerinde kullanılması uygundur. Yorumlar için teşekkürler. Açıklığa kavuşturmak için, soru, zaman serileri analizinden ziyade iomage analizine olan ilgi ile sorulsa da, bu alandaki herhangi bir aydınlanma da takdir edilecektir.

9 cross-correlation  mutual-information