İstatistikler ve Büyük Veri

Robby McKilliam bu yazının yorumunda şöyle diyor : Sıkça görülenler açısından, önceki bilgiyi modele dahil edememeniz için hiçbir neden olmadığı belirtilmelidir. Bu anlamda, sık görüş daha basittir, sadece bir modeliniz ve bazı verileriniz vardır. Önceki bilgileri modelden ayırmaya gerek yoktur Ayrıca, burada , @jbowman, sıkıcıların maliyet / ceza işleviyle düzenlemeyi …

17 bayesian  prior  regularization  frequentist 

Eski chi-sq ve Fisher'ın kesin test tartışmasına ilişkin bu tartışmanın bir uzantısını görmek istiyorum , kapsamı biraz genişletiyoruz. Bir beklenmedik durum tablosunda, başımı döndürmek için yeterli olan birçok test var. Hangi testi ve ne zaman kullanmam gerektiğine dair bir açıklama ve tabii ki bir testin neden diğerine tercih edilmesi gerektiğine …

17 r  chi-squared  contingency-tables 

İki sıralı nokta kümesi arasındaki benzerlik ölçüsünü hesaplamak istiyorum --- Kullanıcı altındaki olanlar Öğretmen altındaki ile karşılaştırıldığında : Noktalar 3D uzaydaki eğrilerdir, ancak resimdeki gibi 2 boyutta çizersem sorunun basitleştirildiğini düşünüyordum. Noktalar çakışırsa, benzerlik% 100 olmalıdır.

17 multiple-comparisons  similarities  curves  procrustes-analysis 

Bu denklemi basitleştirmenin bir yolu var mı? (81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)(81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)\dbinom{8}{1} + \dbinom{8}{2} + \dbinom{8}{3} + \dbinom{8}{4} + \dbinom{8}{5} + \dbinom{8}{6} + \dbinom{8}{7} + \dbinom{8}{8} Veya daha genel olarak, ∑k=1n(nk)∑k=1n(nk)\sum_{k=1}^{n}\dbinom{n}{k}

17 combinatorics 

İki zaman serim var: Piyasa riski primi için bir vekil (ERP; kırmızı çizgi) Devlet tahvili ile temsil edilen risksiz fiyat (mavi çizgi) Risksiz oranın ERP'yi açıklayıp açıklayamayacağını test etmek istiyorum. Bu vesileyle Tsay'ın (2010, 3. baskı, s.96) tavsiyelerini takip ettim: Financial Time Series: Doğrusal regresyon modelini takın ve artıkların seri …

17 regression  time-series 

Altı bağımlı değişken (veri saymak) ve birkaç bağımsız değişken var, bir MMR komut dosyası şöyle gider görüyorum: my.model <- lm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ IV1 + IV2 + ... + IVn) Ancak, verilerim sayıldığından, genelleştirilmiş doğrusal bir model kullanmak istiyorum ve bunu denedim: my.model <- glm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ IV1 + IV2 + ... + …

17 r  generalized-linear-model  multiple-regression 

İki sınıflandırıcının doğruluğunu istatistiksel anlamlılık açısından karşılaştırmak istiyorum. Her iki sınıflandırıcı da aynı veri kümesinde çalıştırılır. Bu beni okuduğumdan bir örnek t-testi kullanmam gerektiğine inanıyor . Örneğin: Classifier 1: 51% accuracy Classifier 2: 64% accuracy Dataset size: 78,000 Kullanılacak doğru test bu mu? Öyleyse, sınıflandırıcı arasındaki doğruluk farkının önemli olup …

17 machine-learning  statistical-significance  classification  t-test 

Konu modelleme (Gizli Dirichlet Tahsisi) kullanırken, konu sayısı kullanıcının belirtmesi gereken bir giriş parametresidir. Bana göre Dirichlet sürecinin karşı karşıya gelmesi gereken bir aday konu seti koleksiyonu da sağlamalıyız? Anlayışım doğru mu? Uygulamada, bu tür bir aday konu seti nasıl kurulur?

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Hava kirleticilerinin kısa vadeli tahminini yapmak için SVM modellerini kullanıyorum. Yeni bir model eğitmek için bir SVM modeli için uygun metaparametreler bulmalıyım (yani C, gama vb.). Libsvm belgeleri (ve okuduğum diğer birçok kitap) bu parametreleri bulmak için ızgara aramayı kullanmanızı önerir - bu yüzden temelde bu parametrelerin her kombinasyonu için …

17 cross-validation  svm 

Diyelim ki basit bir doğrusal regresyon , artıkları kaydettik ve artıkların dağılımı için bir histogram çizin. Tanıdık bir dağıtım gibi görünen bir şey alırsak, hata teriminin bu dağıtımda olduğunu varsayabilir miyiz? Diyelim ki, artıkların normal dağılıma benzediğini tespit edersek, popülasyonda hata teriminin normalliğini varsaymak mantıklı geliyor mu? Bence mantıklı, ama …

17 r  regression  residuals 

Bootstrap tabanlı güven aralığını incelerken, bir keresinde aşağıdaki ifadeyi okudum: Önyükleme dağıtımı sağa eğilirse, önyükleme tabanlı güven aralığı, uç noktaları sağa daha da ileriye taşımak için bir düzeltme içerir; bu mantıksız görünebilir, ancak doğru eylemdir. Yukarıdaki ifadenin altında yatan mantığı anlamaya çalışıyorum.

17 confidence-interval  bootstrap 

Standart sapmanın ortalamayı aşıp aşmayacağı ile ilgili son soruyu takip eden tartışmada , bir soru kısaca gündeme getirildi, ancak hiçbir zaman tam olarak cevaplanmadı. Ben de burada soruyorum. Bir dizi göz önünde nnn negatif olmayan sayılar xixix_i burada 0≤xi≤c0≤xi≤c0 \leq x_i \leq c için 1≤i≤n1≤i≤n1 \leq i \leq n . …

17 variance  mean  standard-deviation  coefficient-of-variation 

Güncelleme : Başka bir güncelleme için özür dilerim ama fraksiyonel polinomlar ve yardıma ihtiyacım olan rakip risk paketi ile bazı olası çözümler buldum. Sorun Zamana bağlı katsayı analizi R'de yapmanın kolay bir yolunu bulamıyorum. Değişkenlerimi katsayı almak ve zamana bağlı bir katsayıya (değişken değil) dönüştürmek ve zamana karşı varyasyon çizmek …

17 r  regression  survival  cox-model 

Sadece tek değişkenli rastgele değişkenin kantil fonksiyonunu (ters cdf) p = 0'dan p = 1'e entegre etmenin değişkenin ortalamasını oluşturduğunu fark ettim. Bu ilişkiyi daha önce duymadım, bu yüzden merak ediyorum: Bu her zaman böyle mi? Eğer öyleyse, bu ilişki yaygın olarak biliniyor mu? İşte python'da bir örnek: from math …

17 mean  pdf  quantile-function 

MSE = 0 değerini olarak göstermek yeterli n→∞n→∞n\rightarrow\inftymi? Notlarımda plim ile ilgili bir şey de okudum. Plim'i nasıl bulabilirim ve tahmincinin tutarlı olduğunu göstermek için nasıl kullanabilirim?

17 estimation  convergence  consistency