İstatistikler ve Büyük Veri

Çok dengesiz bir veri setim olduğu için (% 9 olumlu sonuçlar), hassas hatırlama eğrisinin ROC eğrisinden daha uygun olduğuna karar verdim. PR eğrisi altındaki alanın benzer özet ölçüsünü aldım (eğer ilgileniyorsanız .49), ancak nasıl yorumlanacağından emin değilim. ROC için iyi bir AUC'nin .8 veya üstü olduğunu duydum, ancak genel hatırlatmalar, …

11 classification  precision-recall  auc 

MCMC'de otokorelasyonu kontrol etme ihtiyacını okumaya devam ediyorum. Otokorelasyonun düşük olması neden önemlidir? MCMC bağlamında neyi ölçer?

11 sampling  autocorrelation  mcmc 

Burada ilgili birkaç sorunun farkındayım (örn. Null'u çevreleyen hipotez testi terminolojisi , sıfır hipotezini kanıtlamak mümkün mü? ) Ama aşağıdaki sorumun kesin cevabını bilmiyorum. Bir madalyonun adil olup olmadığını test etmek istediğimiz bir hipotez testi olduğunu varsayalım. İki hipotezimiz var: 'H0: p ( h e a d) = 0,5'H0:p(hebird)=0.5H_0: p(head)=0.5 …

11 hypothesis-testing 

Hedeflerin açı olduğu öğrenme problemini denetledim. Basit bir gerileme yapsaydım, 360 ve 1 sayıları modelim için çok uzakta olacaktı, ama aslında yakınlar ve x ve y koordinatlarını doğru hissetmiyorlar, çünkü burada sadece bir sayı tahmin etmeye çalışıyorum. Böyle bir problemi yapmanın doğru yolu nedir?

11 regression  circular-statistics 

Ortalama olarak sıfır ve varyans olarak var olan iki değişkenli normal dağılımdan rastgele bir örneğimiz olduğunu varsayalım, bu yüzden bilinmeyen tek parametre kovaryanstır. Kovaryansın MLE'si nedir? gibi bir şey olması gerektiğini biliyorum ama bunu nasıl biliyoruz?1n∑nj=1xjyj1n∑j=1nxjyj\frac{1}{n} \sum_{j=1}^{n}x_j y_j

11 normal-distribution  mathematical-statistics  maximum-likelihood  bivariate 

Geliştirdiğim bir ARIMAX modeline olası dahil etmek için birkaç bağımsız değişken düşündüğümü varsayalım. Farklı değişkenleri yerleştirmeden önce, bir Granger testi kullanarak ters nedensellik sergileyen değişkenleri taramak istiyorum ( R'deki paketten granger.testgelen işlevi kullanıyorum MSBVAR, ancak diğer uygulamaların benzer şekilde çalıştığına inanıyorum). Kaç gecikmenin test edilmesi gerektiğini nasıl belirlerim? R işlevi …

11 lags  granger-causality 

Regresyon dışlayıcı tespiti için kullanılabilir. Aykırı değerleri kaldırarak bir regresyon modelini geliştirmenin yolları olduğunu anlıyorum. Ancak buradaki temel amaç bir regresyon modeline uymak değil, regresyon kullanarak yalancıları bulmaktır

11 regression  outliers 

Okuduğum bazı makalelere göre, Jeffries ve Matusita mesafesi yaygın olarak kullanılıyor. Ancak aşağıdaki formül dışında bunun hakkında fazla bilgi bulamadım JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Karekök hariç Öklid mesafesine benzer E (x, y) =∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} JM mesafesinin, sınıflandırma açısından Öklid mesafesinden daha güvenilir olduğu iddia edilmektedir. Herkes bu farkın JM mesafesini neden …

11 classification  k-nearest-neighbour  euclidean 

Benim durumum: küçük örneklem büyüklüğü: 116 ikili sonuç değişkeni Açıklayıcı değişkenlerin uzun listesi: 44 açıklayıcı değişkenler başımın tepesinden gelmedi; onların seçimi literatüre dayanıyordu. örnekteki çoğu durum ve değişkenlerin çoğu eksik değerlere sahiptir. Seçilen özellik seçimine yaklaşım: LASSO R'nin glmnet paketi, görünüşe göre veri kümemdeki eksik değerlerin varlığı nedeniyle glmnet rutinini …

11 r  spss  lasso  data-imputation 

Sorunun çözümü: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] X'in medyanı olarak iyi bilinir XXX, ancak kayıp fonksiyonu diğer persantiller için nasıl görünür? Örn: X'in 25. persentili şu çözümdür: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] Bu durumda L nedir LLL?

11 expected-value  loss-functions 

Markov Zinciri Monte Carlo yöntemlerini incelemeliyim, daha spesifik olmak için Metropolis Hastings algoritmasını ve bununla ilgili yakınsama kriterlerini incelemeliyim. Kim bu argümanı basit terimlerle açıklayan ama önemsiz olmadan anlatan bir kitap, kağıt veya web sitesi yazabilir?

11 references  mcmc 

RKullanarak lojistik regresyon eğitebilirim glm(y ~ x, family=binomial(logit))) ancak, IIUC, bu günlük olasılığını optimize eder. Modeli doğrusal ( ) kayıp fonksiyonunu kullanarak eğitmenin bir yolu var mı (bu durumda toplam varyasyon mesafesi ile aynıdır )?L1L1L_1 Yani, sayısal bir vektör ve bir bit (mantıksal) vektör verildiğinde , monotonik (aslında artan) bir …

11 logistic 

İki rastgele değişkenin Kovaryansını daha iyi anlamaya ve onu düşünen ilk kişinin istatistiklerde rutin olarak kullanılan tanıma nasıl geldiğini anlamaya çalışıyordum. Daha iyi anlamak için wikipedia'ya gittim . Makaleden, için iyi aday ölçüsü veya miktarının aşağıdaki özelliklere sahip olması gerektiği görülmektedir:Co v ( X, Y)CÖv(X,Y)Cov(X,Y) İki rastgele değişken benzer olduğunda …

11 correlation  covariance 

Lojistik regresyonda sürekli değişkenler için olasılık oranlarını yorumlamak hakkında birkaç sorum vardı. Bunların lojistik regresyon hakkında (ve muhtemelen genel olarak regresyon hakkında) temel sorular olduğunu hissediyorum ve cevapları bilmediğim için biraz utanmama rağmen, gururumu yutacağım ve onlara soracağım. gelecek! İşte benim durumum ... Denetimli serbestliğin bir parçası olarak, denetimli serbestliklerinin …

11 regression  logistic 

Bu tür veriler için hangi SVR'nin uygun olduğunu bulmaya çalışıyorum. 4 tip SVR biliyorum: epsilon nu en küçük kareler ve doğrusal. Doğrusal SVR'nin L1 Reg ile kement gibi az çok olduğunu anlıyorum, ancak kalan 3 teknik arasındaki fark nedir?

11 regression  svm