İstatistikler ve Büyük Veri

Bir yazar arkadaşımın lehine bir proje için Doğu Asya'da organize suç konusunda çok fazla araştırma yapıyordum ve birlikte dünya çapında karaborsa operasyonlarının değerini tahmin eden ekonomistler ve gazetecilerin de olduğunu fark ettim. . Bunun metodolojisi nedir? Bu sayılar nasıl bir araya geliyor? Bu sayılar geleneksel pazar modellerinde mi ele geçirildi?

13 measurement  macroeconomics 

Ben birkaç parametre ile bir yörünge (zamanın bir fonksiyonu olarak x) tahmin etmek için bir model var. Şu anda, tahmin edilen yörünge ve deneysel olarak kaydedilen yörünge arasındaki kök ortalama kare hatasını (RMSE) hesaplıyorum. Şu anda, simpleks (matlab'da fminsearch) kullanarak bu farkı (RMSE) en aza indiriyorum. Bu yöntem iyi uyum …

13 maximum-likelihood  curve-fitting 

Çalışmanın tanımı: Çalışma içi çoğaltmanın ele alınmasında meta-analizler arasında yaygın bir hata gözlemledim. Varsayımlar belirtildiğinde hatanın çalışmaları geçersiz kılıp kılmadığı net değil. Ancak, anladığım kadarıyla, bu varsayımlar istatistiklerin temel dayanaklarını ihlal ediyor. Örnek olarak, bir çalışma kimyasal tepkisi üzerindeki etkilerini test eder .YXXXYYY Analiz, log cevap oranına göre yapılır: ( …

13 repeated-measures  meta-analysis 

Ben rastgele değişkenler bir dizi maksimum varyans sınırlarını arıyorum. Diğer bir deyişle, kapalı formlu formüller arıyorum , öyle ki X = \ {X_1, \ ldots, X_M \} sabit olduğu sonlu M \ rastgele değişkenler kümesi \ mu_1, \ ldots, \ mu_M ve varyanslar \ sigma_1 ^ 2, \ ldots, \ …

13 variance  bounds  maximum 

R veya Excel kullanarak, bir frekans tablosunu değerler vektörüne dönüştürmenin en kolay yolu nedir? Örneğin, aşağıdaki frekans tablosunu nasıl dönüştürürdünüz? Value Frequency 1. 2 2. 1 3. 4 4. 2 5. 1 Aşağıdaki vektör içine? 1, 1, 2, 3, 3, 3, 3, 4, 4, 5

13 r  dataset  excel 

Gauss ayırıcı analiz modelleri öğrenir ve ardından P ( y | x ) = P ( x | y ) P p r i o r ( y ) ' yi değerlendirmek için Bayes kuralını uygular P( x | y)P(x|y)P(x|y)Dolayısıyla üretken modellerdir. O zaman buna ayrımcı analiz denir? Eğer nihayet …

13 normal-distribution  discriminant-analysis  generative-models 

Aşağıdakilerin tanımlanıp tanımlanmadığını ve (her iki şekilde) çok dengesiz bir hedef değişkeni olan öngörülü bir modeli öğrenmek için makul bir yöntem gibi geldiğini bilen var mı? Genellikle veri madenciliğinin CRM uygulamalarında, olumlu olayın (başarı) çoğunluğa (negatif sınıf) göre çok nadir olduğu bir model ararız. Örneğin, yalnızca% 0,1'inin pozitif ilgi sınıfında …

13 data-mining  predictive-models 

Bu soru motive Bu teker . İki kaynağa baktım ve bulduğum şey bu. A. van der Vaart, Asimptotik İstatistikler: Bir profil olasılığını açıkça hesaplamak nadiren mümkündür, ancak sayısal değerlendirmesi genellikle mümkündür. O zaman profil olasılığı, olasılık fonksiyonunun boyutunu azaltmaya yarayabilir. Profil olabilirlik fonksiyonları genellikle parametrik modellerin (sıradan) olabilirlik fonksiyonları ile …

13 estimation  maximum-likelihood  likelihood  asymptotics  profile-likelihood 

Aşağıdaki lojistik regresyon çıktısı var: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.5716 0.1734 3.297 0.000978 *** R1 -0.4662 0.2183 -2.136 0.032697 * R2 -0.5270 0.2590 -2.035 0.041898 * Bunu aşağıdaki şekilde bildirmek uygun mu? Beta katsayısı, Oran oranı, Z değeri, P değeri. Evetse, Oran oranını nasıl alabilirim?

13 logistic 

Diyelim ki ailelerde yuvalanmış kardeşlerde bazı değişkenler ölçtüm. Veri yapısı şöyle görünür: aile kardeş değeri ------ ------- ----- 1 1 y_11 1 2 y_12 2 1 y_21 2 2 y_22 2 3 y_23 ... ... ... Aynı aile içinde kardeşler üzerinde yapılan ölçümler arasındaki ilişkiyi bilmek istiyorum. Bunu yapmanın olağan …

13 mixed-model  intraclass-correlation 

Sanırım önyüklemenin temellerinin nasıl çalıştığını anlıyorum , ancak model seçimi veya aşırı sığmayı önlemek için önyüklemeyi nasıl kullanabileceğimi bilmiyorum. Örneğin model seçimi için, önyükleme örnekleri arasında en düşük hatayı (belki de varyans?) Veren modeli seçer misiniz? Model seçimi veya doğrulaması için önyüklemenin nasıl kullanılacağını tartışan metinler var mı? DÜZENLEME: Bu …

13 model-selection  cross-validation  bootstrap 

Benim anlayış olmasıdır tehlike oranı , bir Cox orantılı tehlike modeline bir referans grubu ile belirli bir faktör tehlike oranı üzerindeki etkisini karşılaştırır. Bunu istatistik bilmeyen bir kitleye nasıl rapor edersiniz? Bir örnek vermeye çalışalım. Diyelim ki insanları bir kanepe satın almadan ne kadar süre önce bir çalışmaya dahil ettik. …

13 survival  cox-model 

Birkaç yıl önce üniversitede bir olasılık dersi aldım, ancak şimdi bazı makine öğrenme algoritmalarından geçiyorum ve matematiğin bir kısmı şaşkına dönüyor. Özellikle şu anda, EM algoritmasını (beklenti maksimizasyonu) öğreniyorum ve gerekli olan ile sahip olduğum arasında büyük bir kopukluk var gibi görünüyor. Bir kitap veya web sitesi istemiyorum, ancak bunları …

13 probability  machine-learning 

Aşağıdaki kodu kullanarak, bir grafikte dört parsel çizmeye çalıştım R. Figürden memnun değilim çünkü parseller arasında çok fazla boşluk var, bu nedenle parsellerin genişliği parselleri analiz etmek için yeterli değil. Birisi dört parsel içeren güzel bir grafik üretmeme yardımcı olabilir mi? X ekseni etiketlerini varsayılan 5 etiket yerine 1'den 10'a …

13 r  data-visualization 

İstatistiksel Öğrenme Unsurları'ndaki Tablo 18.1, 14 sınıflı bir veri seti üzerindeki çeşitli sınıflandırıcıların performansını özetler. Bu tür çok sınıflı sınıflandırma problemleri için yeni bir algoritmayı kement ve elastik ağ ile karşılaştırıyorum. glmnetSürüm 1.5.3'ü (R 2.13.0) kullanarak , kullanılan gen sayısının 269 olduğu ve test hatasının 13 olduğu bildirildiği tabloda 7. …

13 classification  lasso  glmnet