İstatistikler ve Büyük Veri

Bir veri kümesini (işaretler kümesi) kümelemeyi denedim ve 2 küme aldım. Grafiksel olarak temsil etmek istiyorum. (X, y) koordinatlarına sahip olmadığım için temsili biraz karıştı. Ayrıca bunu yapmak için MATLAB / Python işlevi arıyor. DÜZENLE Bence veri yayınlamak soruyu daha açık hale getiriyor. Python (scipy kullanarak) kmeans kümeleme kullanarak yaptığım …

15 clustering  data-visualization  python 

R'de bazı birim kök testleri ile oynadım ve k lag parametresinden ne yapacağımdan tam olarak emin değilim. Ben artırılmış kullanılan Dickey Fuller testi ve Philipps Perron testi gelen tseries paketinde. Açıkçası varsayılan parametresi (için ) sadece serinin uzunluğuna bağlıdır. Farklı -değerleri seçersem wrt için oldukça farklı sonuçlar elde ederim. null …

15 r  time-series  trend 

"Heywood Case" terimini, gayri resmi olarak, çevrimiçi, 'sonlu tepki' sayısal olarak yinelenen varyans tahmininin sayısal kesinlik sorunları nedeniyle negatif hale geldiği durumlara atıfta bulunmak için gayri resmi olarak kullanıyordum. (Veri eklemek ve eski verileri kaldırmak için Welford'un yönteminin bir varyantını kullanıyorum.) Sayısal hata veya modelleme hatası nedeniyle bir varyans tahmininin …

15 variance  factor-analysis  definition  online 

İstatistiklerim kendi kendine öğretildi, ancak okuduğum birçok malzeme ortalama 0 ve standart sapma 1 olan bir veri kümesine işaret ediyor. Bu durumda: Ortalama 0 ve SD 1 neden güzel bir mülk? Bu örnekten çizilen rastgele bir değişken neden 0.5'e eşittir? 0.001 çizim şansı 0.5 ile aynıdır, bu yüzden düz dağıtım …

15 probability 

Bir Poisson dağılımını takip etmeyi bekleyebileceğim bir veri setim var, ancak yaklaşık 3 kat fazla dağılmış durumda. Şu anda, bu overdispersion R aşağıdaki kod gibi bir şey kullanarak modelleme. ## assuming a median value of 1500 med = 1500 rawdist = rpois(1000000,med) oDdist = rawDist + ((rawDist-med)*3) Görme, bu ampirik …

15 distributions  modeling  poisson-distribution  overdispersion 

Bunun potansiyel olarak geniş bir soru olabileceğini fark ettim, ama bir GLM (Genelleştirilmiş doğrusal model) üzerinde bir GAM (Genelleştirilmiş katkı modeli) kullanımını gösteren genelleştirilebilir varsayımlar olup olmadığını merak ediyordum. Birisi kısa süre önce bana GAM'ların yalnızca veri yapısının "katkı maddesi" olduğunu düşündüğümde kullanılması gerektiğini söyledi, yani x eklemelerinin y'yi tahmin …

15 regression  generalized-linear-model  gam 

Bir takip gelince Benim sinir ağı bile Öklid mesafe öğrenemez Hatta daha ve tek relu için (rastgele ağırlığı) tek relu eğitmek çalıştı basitleştirilmiş. Bu, en basit ağdır ve yine de birleşemediği zamanın yarısıdır. İlk tahmin hedefle aynı yönde ise, hızlı bir şekilde öğrenir ve doğru 1 ağırlığına yaklaşır: İlk tahmin …

15 machine-learning  neural-networks  optimization  keras 

Ben maruz kalma has_xveya has_ybir kullanıcının bir şey tıklama olasılığını etkiler belirlemek için bir binom lojistik regresyon kullanıyorum . Modelim şu şekildedir: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Bu benim modelden çıktı: Call: glm(formula = has_clicked ~ has_x + has_y, family = binomial(), …

15 regression  logistic  standard-error  logit 

Python kodumda KL sapmasını kullanacağım ve bu öğreticiyi aldım . Bu derste KL ıraksama uygulamak oldukça basittir. kl = (model * np.log(model/actual)).sum() Anlıyorum gibi, olasılık dağılımı modelve actual<= 1 olmalıdır. Benim sorum, k'nin maksimum bağlı / maksimum değeri nedir? Kodumda maksimum sınır için olduğu gibi kl mesafesinin maksimum değerini bilmeliyim.

15 machine-learning  distance  kullback-leibler 

Bu, istatistik ve diğer bilimlerin kesişimi hakkında bir tartışma sorusudur. Sıklıkla aynı problemle karşılaşıyorum: alanımdaki araştırmacılar, p değeri önem seviyesinden daha az olmadığında hiçbir etki olmadığını söyleme eğilimindedir. Başlangıçta sık sık hipotez testinin böyle olmadığını söyledim. Bu sorunun ne sıklıkta ortaya çıktığı göz önüne alındığında, bu konuyu daha deneyimli istatistikçilerle …

15 hypothesis-testing 

Makine öğrenme algoritmalarını kullanarak tahminlerde bulunmak istediğimiz herhangi bir veritabanı, bazı özellikler için eksik değerler bulacaktır. Bu sorunu ele almak, eksik değerlere sahip satırları karakteristiklerin ortalama değerleriyle dolana kadar hariç tutmak için birkaç yaklaşım vardır. Temelde bağımlı değişken (Y) eksik değerleri olan sütunların her biri ancak tablonun satırları ile olacak …

15 machine-learning  scikit-learn  data-imputation 

http://www.deeplearningbook.org/contents/ml.html Sayfa 116, bayes hatasını aşağıdaki gibi açıklar İdeal model, verileri üreten gerçek olasılık dağılımını bilen bir kahin. Böyle bir model bile birçok problemde hala hataya neden olacaktır, çünkü dağıtımda hala gürültü olabilir. Denetimli öğrenme durumunda, x'den y'ye eşleme doğal olarak stokastik olabilir veya y, x'e dahil olanların yanı sıra …

15 machine-learning  deep-learning  terminology 

İş yerinde bir araştırma sorusunu basitleştiriyorum. 5 bozuk param olduğunu hayal edelim ve haydi başkanlara bir başarı diyelim. Bunlar başarı olasılığı çok olan Ç = önyargılı paralardır p = 0.1. Şimdi, sikkeler bağımsız olsaydı, en az 1 kafa veya daha fazla olasılık elde etmek çok basit, . Senaryomda, Bernoulli davalarım …

15 multivariate-analysis  bernoulli-distribution  copula 

Kısa bir süre önce , ayrı bir olasılık dağılımının entropisi hakkındaki bu makaleyi okudum . Entropiyi, kullandığınız kelimelerin olasılık dağılımı göz önüne alındığında, kodlamanız en uygun olduğunda bir mesajı kodlamak için gereken beklenen sayı bitleri (en azından entropi tanımınızda kullanıldığında) olarak düşünmenin güzel bir yolunu tanımlar.log2log2\log_2 Bununla birlikte, buradaki gibi …

15 entropy  information-theory 

Hassas hatırlama eğrisini anlamaya çalışıyorum, hassasiyet ve hatırlamanın ne olduğunu anlıyorum ama anlamadığım şey "temel" değer. Bu bağlantıyı okuyordum https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ ve "Mükemmel bir sınıflandırıcının bir Hassas-Geri Çağırma eğrisi" bölümünde gösterildiği gibi taban kısmını anlamıyorum, ne işe yarar? ve bunu nasıl hesaplıyoruz? Sadece seçtiğimiz rastgele bir başlangıç ​​noktası mı? Örneğin, retweet,status_countvb …

15 r  machine-learning  classification  precision-recall