İstatistikler ve Büyük Veri

PCA doğrusal bir prosedür olarak kabul edilir, ancak: P C A (X) ≠ P Cı A ( x1) + P C A ( X2) + … + P C A ( Xn) ,PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), burada . Bu veriler matrisler üzerinde PCAs ile elde özvektörler yani x i veri matrisleri toplamına …

35 pca  linear 

Burada bulunabilecek bir veri bilimi dersinde bazı ders slaytlarına bakıyorum: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Maalesef bu ders için videoyu göremiyorum ve slaytın bir noktasında sunum yapan kişi şu metni içeriyor: Bazı Anahtar İlkeler Bir Bayesian gibi düşünün, bir Frequentist (uzlaşma) gibi kontrol edin Bunun ne anlama geldiğini bilen var mı? Bundan toplanacak bu …

35 bayesian  data-mining  frequentist 

Küme analizi ile ilgili en büyük sorunlardan biri, kullanılan farklı kümeleme yöntemlerine (hiyerarşik kümelemede farklı bağlantı yöntemleri dahil) dayandığında farklı sonuçlar çıkarmamız gerektiğidir . Bu konudaki fikrinizi bilmek istiyorum - hangi yöntemi seçeceksiniz ve nasıl. Biri “en iyi kümeleme yöntemi, size doğru cevabı verendir”; ancak küme analizinin denetimsiz bir teknik …

35 clustering  validation  model-evaluation  hierarchical-clustering 

8 rastgele bit (ya da 0 veya 1) üretiyorum ve bunları 8 bitlik bir sayı oluşturmak üzere bir araya getiriyorum. Basit bir Python simülasyonu, ayrık küme üzerinde eşit bir dağılım verir [0, 255]. Bunun neden kafamda anlamlı olduğunu haklı çıkarmaya çalışıyorum. Bunu 8 jeton çevirerek karşılaştırırsam, beklenen değer 4 kafa …

35 binomial  random-generation  uniform 

Gradient Boosting hakkında bilgi edinirken, metodun model oluşturmak ve birleştirmek için kullandığı "zayıf bir sınıflandırıcı" nın özellikleriyle ilgili herhangi bir kısıtlama duymadım. Ancak, doğrusal regresyon kullanan bir GB uygulamasının hayal bile edemedim ve aslında bazı testler yaptığımda, işe yaramadı. En standart yaklaşımı toplam kare artıkları gradyanı ile test ediyordum ve …

35 regression  machine-learning  boosting  ensemble  gradient 

LSTM, kaybolan degrade sorununu önlemek için özel olarak icat edildi. Bunu, aşağıdaki diyagramdaki ( Greff ve diğerleri ) hücre çevresindeki halkaya karşılık gelen Sabit Hata Atlıkarınca (CEC) ile yapması gerekiyordu . (kaynak: deeplearning4j.org ) Ve o kısmın bir çeşit kimlik işlevi olarak görülebildiğini anlıyorum, bu yüzden türev bir ve gradyan …

35 neural-networks  lstm 

Bu yöntemlerin dezavantajlarını çözdüğü için elastik net düzenlileştirme Lasso ve Ridge için her zaman tercih edilir mi? Sezgi nedir ve elastik ağın arkasındaki matematik nedir?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Umarım unvanı anlamıyorum. Çoğu zaman, sıfır hipotezi onu reddetme niyeti ile oluşur. Bunun bir nedeni var mı, yoksa sadece bir kongre mi?

35 hypothesis-testing 

Son zamanlarda Monte Carlo simülasyonuna baktım ve onu ( yaklaşık bir dikdörtgen, orantılı alan içinde) gibi sabitleri yaklaşık olarak belirlemek için kullanıyorum .ππ\pi Bununla birlikte, Monte Carlo entegrasyonunu kullanarak [Euler sayısı] değerine yaklaşmak için uygun bir yöntem düşünemiyorum .eee Bunun nasıl yapılabileceği hakkında herhangi bir işaret var mı?

35 simulation  monte-carlo  algorithms  random-generation  numerical-integration 

Monte Carlo olmayan bir simülasyon metodu var mı? Tüm simülasyon yöntemleri, fonksiyon için bir değer aralığı bulmak üzere fonksiyona rasgele sayıları değiştirmeyi içerir. Öyleyse tüm simülasyon yöntemleri esas olarak Monte Carlo yöntemleri midir?

35 monte-carlo 

Kısa zaman serilerinin modellenmesi ile ilgili bir sorum var. Bunları modellemek bir soru değil , nasıl yapılır? Kısa zaman serilerinin modellenmesi için hangi yöntemi önerirsiniz (uzunluk )? "En iyisi" derken, burada en sağlam olanı kastetmiştim; bu, sınırlı sayıda gözlemden dolayı hatalara en az eğilimi gösterir. Kısa serilerde, tek gözlemler tahminleri …

35 time-series  forecasting  small-sample 

Ham verilerde veya model kalıntılarında otokorelasyon testi için oldukça sık kullanılan Ljung-Box testini görmeye alışkınım. Breusch-Godfrey testi gibi başka bir otokorelasyon testi olduğunu neredeyse unutmuştum. Soru: Ljung-Box ve Breusch-Godfrey testlerinin temel farklılıkları ve benzerlikleri nelerdir ve biri diğerine ne zaman tercih edilmelidir? (Referanslar bekliyoruz. Her ne kadar bir kaç ders …

35 time-series  hypothesis-testing  autocorrelation 

Aşağıdaki örneklerin verilebileceği takdir edilecektir: Sonsuz ortalama ve sonsuz varyanslı dağılım. Sonsuz ortalama ve sonlu varyanslı dağılım. Sonlu ortalama ve sonsuz varyanslı dağılım. Sonlu ortalama ve sonlu varyanslı dağılım. Wilmott forumunda / web sitesinde bir yazı okuduğum, okuduğum ve okuduğum ve yeterince açık bir açıklama bulamadığım bir makalede kullanılan bu …

35 distributions  variance  mean 

Simpson'ın paradoksu dünya çapında tanıtım istatistik derslerinde tartışılan klasik bir bilmecedir. Ancak kursum, bir sorunun var olduğunu ve bir çözüm sağlamadığını basitçe not etmekten memnuniyet duyuyordu. Paradoksu nasıl çözeceğimi bilmek istiyorum. Bu, Simpsonların paradoksuyla karşı karşıya kaldığında, verinin nasıl bölümlendiğine bağlı olarak en iyi seçim olmak için iki farklı seçeneğin …

35 simpsons-paradox 

Bu sorunun bir anlam ifade edip etmediğini bile bilmiyorum, ancak çoklu regresyon ve kısmi korelasyon arasındaki fark nedir (korelasyon ve regresyon arasındaki bariz farklar dışında, neyi hedeflediğim değil)? Aşağıdakileri istiyorum: İki bağımsız değişkenim ( , ) ve bir bağımlı değişkenim ( ) var. Şimdi bireysel olarak bağımsız değişkenler bağımlı değişkenle …

35 multiple-regression  regression-coefficients  partial-correlation