İstatistikler ve Büyük Veri

R'de bir Poisson regresyon denkleminden nasıl veri üreteceğinizi merak ediyordum. Soruna nasıl yaklaşacağım konusunda kafam karıştı. Ben varsayarsak yüzden iki yordayıcılarını var ve X 2 dağıtılır N ( 0 , 1 ) . Ve kesme noktası 0'dır ve her iki katsayı 1'e eşittir. Sonra tahminim basitçe:X1X1X_1X2X2X_2N(0,1)N(0,1)N(0,1) log(Y)=0+1⋅X1+1⋅X2log⁡(Y)=0+1⋅X1+1⋅X2\log(Y) = 0+ 1\cdot …

14 r  regression  poisson-distribution  simulation 

Aşağıdaki PCA biplotunu düşünün: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Bir sürü kırmızı ok çizilir, ne anlama geliyorlar? "Var1" ile etiketlenmiş ilk okun veri kümesinin en değişken yönünü göstermesi gerektiğini biliyordum (eğer bunları 2000 veri noktası olarak düşünürsek, …

14 r  pca  linear-algebra  biplot 

Olasılık ve istatistikte, "rastgele" ve "rastgele" kavramı sıklıkla kullanılmaktadır. Çoğunlukla rastgele değişken kavramı, şansa bağlı olarak meydana gelen olayları modellemek için kullanılır. Benim sorum "rastgele" terimiyle ilgili. Rastgele nedir? Rasgelelik gerçekten var mı? Rastgele olaylarla çalışma konusunda çok fazla deneyime sahip insanların rastgele olma hakkında ne düşündüklerini ve inandıklarını merak …

14 interpretation  terminology 

Her şeyi iki kategoriye ayıran bir algoritmam olduğunu varsayalım. Diyelim ki 1000 test nesnesi üzerinde algoritmanın doğruluğunu ölçebilirim - düşünelim ki şeylerin% 80'i doğru sınıflandırılmıştır. Diyelim ki algoritmayı bir şekilde değiştiriyorum, böylece şeylerin% 81'i doğru bir şekilde sınıflandırılıyor. İstatistikler algoritmadaki gelişimimin istatistiksel olarak anlamlı olup olmadığı hakkında bir şey söyleyebilir …

14 statistical-significance  classification 

Sinir ağlarının şimdiye kadar gördüğüm örneklerinin çoğunda, ağ sınıflandırma için kullanılır ve düğümler sigmoid işleviyle dönüştürülür. Ancak, sürekli bir gerçek değer üretmek için bir sinir ağı kullanmak istiyorum (gerçekçi olarak çıktı genellikle -5 ila +5 aralığında olacaktır). Sorularım: 1. Should I still scale the input features using feature scaling? What …

14 regression  neural-networks 

Andrew Ng'in Stanford'daki ücretsiz çevrimiçi makine öğrenimi kursundaki videolardan geçiyorum . Degrade İnişi, bunu yapmak için Octave'de lineer regresyon ve yazma fonksiyonlarını çözmek için bir algoritma olarak tartışır. Muhtemelen R'de bu işlevleri yeniden yazabilirim, ama sorum şu ki, lm () işlevi zaten doğrusal regresyonun çıktısını vermiyor mu? Neden kendi degrade …

14 r  regression  machine-learning  gradient-descent 

Birisi bana Cox modelimi düz İngilizce olarak açıklayabilir mi? Bu işlevi kullanarak tüm verilerime aşağıdaki Cox regresyon modelini yerleştirdim cph. Verilerim adlı bir nesneye kaydedilir Data. Değişkenler w, xve ysüreklidir; ziki seviyeli bir faktördür. Zaman ay olarak ölçülür. Bazı hastalarım değişkenleri için veri eksik z( Not : Dr.Harrell'in aşağıda, modelime …

14 r  cross-validation  survival  cox-model 

Bir saf Bayes sınıflandırıcısı için parametre tahmini hakkındaki Wikipedia makalesinden alıntı : "tipik bir varsayım, her sınıfla ilişkili sürekli değerlerin bir Gauss dağılımına göre dağıtıldığıdır." Gauss dağılımının analitik nedenlerle uygun olduğunu anlıyorum. Ancak, bu varsayımı yapmak için başka bir gerçek dünya nedeni var mı? Nüfus iki alt popülasyondan oluşuyorsa (akıllı …

14 normal-distribution 

Merkezi limit teoremi, sonsuza giderken iid değişkenlerinin ortalamasının normal olarak dağıldığını belirtir .NNN Bu iki soruyu gündeme getiriyor: Bundan büyük sayılar yasasını çıkarabilir miyiz? Büyük sayılar kanunu rastgele değişkenin değerlerinin bir numunenin ortalaması gerçek ortalama eşittir diyorsa olarak sonsuza gider o zaman değer haline gelmesi (merkezi sınır söylediği gibi) demek …

14 probability  central-limit-theorem  law-of-large-numbers 

Birisi bana diğer rastgele etkileri de tahmin etmem gerektiğinde R'nin parçalı doğrusal bir modelde (sabit veya rastgele bir parametre olarak) kırılma noktasını nasıl tahmin edeceğini söyleyebilir mi? Aşağıda bir kırılma noktası için rastgele bir eğim varyansı ve rastgele bir y kesme noktası varyansı ile bir hokey sopası / kırık çubuk …

14 r  mixed-model  lme4-nlme  change-point  piecewise-linear 

Çoklu düğümleri otomatik olarak algılayabilen parçalı doğrusal regresyon yapmak için herhangi bir paket var mı? Teşekkürler. Yapısal paketini kullandığımda. Değişim noktalarını tespit edemedim. Değişim noktalarını nasıl tespit ettiği hakkında hiçbir fikrim yok. Parsellerden, onları seçmeme yardımcı olabileceğim birkaç nokta olduğunu görebiliyordum. Burada bir örnek verilebilir mi?

14 regression  change-point 

Başlık her şeyi söylüyor ve kafam karıştı. Aşağıdaki R tekrarlanan önlemler aov () çalışır ve eşdeğer bir lm () çağrısı olduğunu düşündüğüm çalışır, ancak farklı hata kalıntıları (kareler toplamları aynı olmasına rağmen) döndürür. Açıkça aov () 'dan kalıntılar ve takılmış değerler modelde kullanılan değerlerdir, çünkü karelerin toplamları modelin her birine …

14 r  anova  repeated-measures  linear-model 

Veri madenciliği hakkında okumaya başlayacak bir acemiyim. Temel yapay zeka ve istatistik bilgim var. Birçoğu makine öğreniminin veri madenciliğinde de önemli bir rol oynadığını söylediği için, veri madenciliğine devam edebilmek için makine öğrenimi hakkında okumak gerekli mi?

14 machine-learning  references  data-mining 

Ağ motifi tespiti için yazılım paketleri çok yüksek Z-skorları döndürebilir (gördüğüm en yüksek değer 600.000+, ancak 100'den fazla Z-skorları oldukça yaygındır). Bu Z-skorlarının sahte olduğunu göstermeyi planlıyorum. Büyük Z skorları son derece düşük ilişkili olasılıklara karşılık gelir. İlişkili olasılıkların değerleri, 6'ya kadar Z puanları için örneğin normal dağıtım wikipedia sayfasında …

14 probability  normal-distribution  p-value  approximation  z-statistic 

Birisi bana girişte mesafe matrisini alabilecek bir k-araç uygulaması (matlab'da daha iyi olurdu) gösterebilir mi? Standart matlab uygulaması girdi olarak gözlem matrisine ihtiyaç duyar ve benzerlik ölçüsünü özel olarak değiştirmek mümkün değildir.

14 clustering  matlab  k-means