İstatistikler ve Büyük Veri

RVerilerimin log-normal veya Pareto dağılımlarına uygun olup olmadığını kontrol etmek istiyorum . Bunu nasıl yapabilirim? Belki ks.testbunu yapmama yardımcı olabilir, ama verilerim için Pareto dağıtımı için ve parametrelerini nasıl alabilirim ?αα\alphakkk

11 r  regression  distributions  lognormal  pareto-distribution 

Şu anda yüzleri tanımak için evrişim sinir ağlarını kullanan bir yüz tanıma yazılımı üzerinde çalışıyorum. Okumalarıma dayanarak, eğitim sırasında zaman kazanmak için evrişimli bir sinir ağının ağırlık paylaştığını topladım. Ancak, bir geri yayılımı nasıl adapte eder, böylece bir evrişim sinir ağında kullanılabilir. Geri çoğaltmada, ağırlıkların eğitilmesi için buna benzer bir …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Bu sayfada: Gizlenen Değişkenler: Bazı Örnekler Brian L. Joiner Amerikan İstatistikçi Vol. 4, Kasım 4, 1981 227-233 Brian Joiner "randomizasyonun her derde deva olmadığını" iddia ediyor. Bu, aşağıdaki gibi yaygın ifadelere aykırıdır: İyi tasarlanmış bir deney, bağımsız değişken (ler) ile bağımlı değişken arasındaki gözlemlenen ilişkinin bir açıklaması olarak araştırmacıların yabancı …

11 confounding  random-allocation 

Diyelim ki sınıf etiketleriyle ilişkili bir dizi örneğim var. Bu örneklerin nasıl etiketlendiği önemli değil , sınıf üyeliğinin ne kadar kesin olduğu. Her örnek tam olarak bir sınıfa aittir . Diyelim ki her sınıf üyeliğinin kesinliğini, 1'den 3'e (sırasıyla çok kesin - belirsiz) giden bir nominal özellik ile ölçebilirim. Böyle …

11 classification  weka  uncertainty 

Bir algılayıcı algoritmasının karar sınırını çizmeye çalışıyorum ve birkaç şey hakkında gerçekten kafam karıştı. Giriş örneklerim , temelde bir 2D giriş örneği ( ve ) ve bir ikili sınıf hedef değeri ( ) [1 biçimindedir. veya 0].[(x1,x2),y][(x1,x2),y][(x_{1},x_{2}), y]x1x1x_{1}x2x2x_{2}yyy Ağırlık vektörüm şu şekildedir: .[w1,w2][w1,w2][w_{1}, w_{2}] Şimdi ek bir bias parametresi ve …

11 machine-learning  neural-networks  python  decision-theory  perceptron 

Farklı kümeleme yöntemlerini karşılaştırmak için hızlı bir simülasyon çalıştırıyorum ve şu anda küme çözümlerini değerlendirmeye çalışan bir engelle karşılaşıyorum. Çeşitli doğrulama metriklerini biliyorum (çoğu R'de cluster.stats () öğesinde bulundu ), ancak tahmin edilen küme sayısının gerçek kümelerin gerçek sayısına eşit olması durumunda bunların en iyi şekilde kullanıldığını varsayıyorum. Orijinal simülasyonda …

11 clustering  kullback-leibler  gaussian-mixture 

Rasgele bir orman inşa etmek için bildiğim yöntem şöyledir: ( http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Ormanda bir ağaç inşa etmek için: Bootstrap N boyutunda bir örnek, burada N egzersiz setimizin boyutudur. Bu önyüklemeli örneği bu ağaç için eğitim seti olarak kullanın. Ağacın her bir düğümünde M özelliklerimizden rastgele m seçin. Bölünecek bu m …

11 machine-learning  classification  random-forest 

Gönderen Wikipedia Bireysel özgül etki, rasgele etki varsayımı ve sabit etki varsayımı hakkında iki ortak varsayım vardır. Rastgele etkiler varsayımı (rastgele etkiler modelinde yapılmıştır), bireysel spesifik etkilerin bağımsız değişkenlerle ilişkisiz olmasıdır . Sabit etki varsayımı, bireye özgü etkinin bağımsız değişkenlerle ilişkili olduğudur. Rastgele etkiler varsayımı geçerliyse, rastgele etkiler modeli sabit …

11 random-effects-model  fixed-effects-model 

Bu tür arazilerin ne olduğunu bilmiyorum ve bu yüzden bu soruya aptalca bir başlık verdim. Diyelim ki aşağıdaki gibi sıralı bir veri setim var 4253 4262 4270 4383 4394 4476 4635 ... Her sayı, belirli bir kullanıcının bir web sitesine katkıda bulunduğu yayın miktarına karşılık gelir. Burada tanımlanan "katılım eşitsizliği" …

11 r  distributions  data-visualization 

Bayes teoremine göre . Ama ekonometrik metnime göre P ( θ | y ) ∝ P ( y | θ ) P ( θ ) diyor . Neden böyle? P ( y ) ' nin neden göz ardı edildiğini anlamıyorum .P(y|θ)P(θ)=P(θ|y)P(y)P(y|θ)P(θ)=P(θ|y)P(y)P(y|\theta)P(\theta) = P(\theta|y)P(y)P(θ|y)∝P(y|θ)P(θ)P(θ|y)αP(y|θ)P(θ)P(\theta|y) \propto P(y|\theta)P(\theta)P(y)P(y)P(y)

11 bayesian  conditional-probability  likelihood 

Bir model için düzleştirmeler / spline'lar kullanırken yeni veriler için tahminlerin nasıl yapıldığına dair kavramsal bir açıklama yapmaya yardımcı olabilir misiniz? Örneğin, kullanılarak oluşturulan bir model verilmiş gamboostiçinde mboostp-yivler ile, R paketin ne kadar yeni veri tahminleri yapılır? Eğitim verilerinden ne kullanılır? Diyelim ki x bağımsız değişkeninin yeni bir değeri …

11 regression  machine-learning  predictive-models  splines 

Normal denklemlerin: X'in ters çevrilebilir olduğu varsayımı olmadan bir veya daha fazla çözümü olduğunu nasıl kanıtlayabilirsiniz ?(XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TY Benim tek tahminim bunun genelleştirilmiş ters ile bir ilgisi var, ama tamamen kayboldum.

11 regression  proof 

Kısa versiyon: İstatistikte çok az arka plana sahip olan veya hiç olmayanlara yönelik istatistiklerle ilgili Ronald Fisher'in yazılarına (makaleler ve kitaplar) bir giriş var mı? İstatistikçi olmayanlara yönelik "açıklamalı Fisher okuyucu" gibi bir şey düşünüyorum. Aşağıdaki bu sorunun motivasyonunu açıkladım, ancak uzun soluklu olduğu (daha özlü bir şekilde nasıl açıklayacağımı …

11 references  history  fiducial  ronald-fisher 

Y1 ve y2 olarak adlandırılan iki grup kütle ölçümü (mg cinsinden) verildiğini varsayalım. İki numunenin farklı yollardan popülasyonlardan çekilip çizilmediğini belirlemek için bir test yapmak istiyorum. Örneğin böyle bir şey (R cinsinden): y1 <- c(10.5,2.9,2.0,4.4,2.8,5.9,4.2,2.7,4.7,6.6) y2 <- c(3.8,4.3,2.8,5.0,9.3,6.0,7.6,3.8,6.8,7.9) t.test(y1,y2) 0.3234'lük bir p değeri elde ediyorum ve 0.05'lik anlamlılık düzeyinde, iki …

11 hypothesis-testing 

Bir GLM LASSO modelinin yüksek derecede korelasyonlu olanlardan oluşan bir gruptan belirli bir yordayıcıyı neden seçtiğini ve neden en iyi alt küme özellik seçiminden farklı olduğunu sezgisel bir cevap arıyorum. Tibshirani 1996'daki Şekil 2'de gösterilen LASSO'nun geometrisinden, LASSO'nun yordayıcıyı daha büyük varyansla seçtiğine inanıyorum. Şimdi bir lojistik regresyon modeli için …

11 feature-selection  lasso