İstatistikler ve Büyük Veri

Şimdiye kadar gördüğüm her kitapta ML algoritmaları ve bunların nasıl uygulanacağı açıklanmaktadır. Ayrıca bu algoritmaların davranışları için teoremler ve kanıtlar oluşturan bir ders kitabı var mı? örneğin , gradyan iniş koşulları altında daima yol açacağını belirtmek ?x , y, zx,y,zx,y,zA , B , Cbir,B,CA,B,C

23 machine-learning  mathematical-statistics  references  algorithms 

Makine öğrenme tekniklerini kullanarak yordayıcı bir model oluştururken, keşifsel veri analizi (EDA) yapmanın amacı nedir? Model oluşturma ve model oluşturma özelliklerine doğrudan atlamak uygun mudur? EDA'da tanımlayıcı istatistikler nasıl önemlidir?

23 machine-learning  predictive-models  descriptive-statistics  eda 

John Snow Kolera salgını verilerine dayanarak, bir tür merkez üssünün coğrafi bir yaklaşımının nasıl geliştirileceğini öğrenmekle ilgileniyorum. Hangi istatistiki modellemenin, kuyuların nereye yerleştirildiğine dair önceden bilgi sahibi olmadan böyle bir problemi çözmek için kullanılabileceği. Genel bir sorun olarak, zamanın, bilinen noktaların yerini ve gözlemcinin yürüme yolunu bulabilirdin. Aradığım yöntem bu …

23 bayesian  spatial  epidemiology  gis 

Diyelim ki ağaçlarda yaşayan bazı hayvan türlerinin ağaçların özelliklerine bağlı olarak ortaya çıkma ihtimalini tahmin edebilecek lojistik regresyon modeli oluşturmak istediğimi varsayalım (fe yüksekliği). Her zaman olduğu gibi, zamanım ve param sınırlı, bu yüzden sadece sınırlı bir örneklem büyüklüğü toplayabiliyorum. Aşağıdaki sorularım var: Örneğimdeki 1 ve 0'ların oranı 1'lerin ve …

23 logistic  sampling 

Boyutsallığın azaltılması için -sne algoritması hakkında çok şey okudum . MNIST gibi "klasik" veri kümelerindeki performanstan, rakamların net bir şekilde ayrılmasını sağladığı için çok etkilendim ( orijinal makaleye bakın ):ttt Ayrıca, eğittiğim bir sinir ağı tarafından öğrenilen özellikleri görselleştirmek için de kullandım ve sonuçlardan çok memnun kaldım. Yani, anladığım kadarıyla: …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Monty, Kapının arkasında bir keçi olup olmadığını (veya boştu) mükemmel bir bilgiye sahipti. Bu gerçek, oyuncunun zaman içindeki başarı oranını “tahminleri” diğer Kapıya geçirerek iki katına çıkarmasını sağlar. Ya Monty'nin bilgisi mükemmelden azsa? Peki ya bazen Ödül gerçekten Keçi ile aynı Kapı aralığındaysa? SİZİN kapınızı seçip açana kadar bunu görmediniz …

23 conditional-probability 

Bir örnek yazıyorum ve bazı veriler oluşturdum. Okuyucunun net bir veri olmadığını açıkça belirtmek istiyorum, ama aynı zamanda bir örnek teşkil ettiği için kötülük izlenimi vermek istemiyorum. Bu özel verinin (sözde) rastgele bileşeni yoktur, bu yüzden bana 'benzetimin' uygun olmadığı anlaşılıyor. Eğer onu hayali ya da uydurma olarak adlandırırsam, sahte …

23 terminology  synthetic-data 

Geçenlerde sorduğum bir soruda , sevgisizlikle tahmin etmenin büyük bir "hayır-hayır" olduğu söylendi. Ancak, Nate Silver'ın FiveThirtyEight.com hakkındaki en son makalesinde, seçim tahminlerinde bulunmamak için loess kullanmayı tartıştı. Agresif ve muhafazakar tahminlerin ayrıntılarını loess ile tartışıyordu ama gelecek tahminlerini loess ile yapmanın geçerliliğini merak ediyorum? Bu tartışmayla ve sevgiyle benzer …

23 time-series  forecasting  predictive-models  loess  politics 

PCA'yı genellikle davaların kabul edildiğinin varsayıldığı veriler için boyutsallık azaltma tekniği olarak kullanıyoruz. Soru: Bağımlı, kimliği olmayan veriler için PCA uygulamasındaki tipik nüanslar nelerdir? PCA'nın kimlik bilgileri için geçerli olan hoş / faydalı özellikleri tehlikeye atılır (veya tamamen kaybolur)? Örneğin, veriler, çok değişkenli bir zaman serisi olabilir; bu durumda, otokorelasyon …

23 time-series  pca  non-independent  iid 

Makine öğrenmesi için optimizasyon teknikleri üzerine biraz araştırma yapıyorum, ancak diğer optimizasyon problemleri açısından çok sayıda optimizasyon algoritması tanımladığımı şaşırdım. Aşağıdaki bazı örnekler göstermektedir. Örneğin https://arxiv.org/pdf/1511.05133v1.pdf Her şey güzel ve iyi görünüyor ama sonra bu yoktur argminxargminx\text{argmin}_x in zk + 1zk+1z^{k+1} güncellemesi .... böylece algoritma nedir bunun için çözer argminargmin\text{argmin} …

23 machine-learning  svm  optimization 

Ben bakarak edilmiş @conjugateprior tarafından / lm bu bakış llmer R formüller ve aşağıdaki girişi ile karıştı: Şimdi A'nın rastgele olduğunu, ancak B'nin sabit olduğunu ve B'nin A içinde iç içe olduğunu varsayalım. aov(Y ~ B + Error(A/B), data=d) lmer(Y ~ B + (1 | A:B), data=d) Aynı durum için …

23 r  anova  mixed-model  repeated-measures  lme4-nlme 

Http://keras.io/optimizers/ belgelerine bakarsanız , SGD'de bozulma için bir parametre vardır. Bunun zamanla öğrenme oranını düşürdüğünü biliyorum. Ancak tam olarak nasıl çalıştığını çözemiyorum. lr = lr * (1 - decay) Üstel olduğu gibi öğrenme oranı ile çarpılan bir değer mi? Ayrıca modelimin hangi öğrenme hızını kullandığını nasıl görebilirim? model.optimizer.lr.get_value()Birkaç çağa uyum …

23 neural-networks  python 

Takviye öğrenmeyi öğrenmeye çalışıyorum ve bu konu benim için kafa karıştırıcı. İstatistiklere giriş yaptım, ancak sezgisel olarak bu konuyu anlayamadım.

23 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

Cross Validated'in trollenmesinden sonra hala, KL bilgi ayrıntısını bilgi teorisi dünyasının dışında anlamaya daha yakın olduğumu hissetmiyorum. Bilgi teorisi açıklamasını daha kolay anlayabilmeniz için Matematik kökenli biri olarak oldukça garip. Anlayışımı bir bilgi teorisi altyapısından özetlemek için: Sınırlı sayıda sonuç içeren rastgele bir değişkenimiz varsa, sonucu ortalama olarak en kısa …

23 inference  entropy  information-theory  kullback-leibler  compression 

Eğitim setinde birkaç model eğittiğimi varsayalım, çapraz doğrulama setini ve test setinde ölçülen performansı kullanarak en iyisini seçtim. Şimdi son bir modelim var. Mevcut tüm verilerime veya sadece eğitim setinde eğitilmiş gemi çözümüne bakmalı mıyım? İkincisi, öyleyse neden? GÜNCELLEME: P.Windridge'in de belirttiği gibi, yeniden eğitilmiş bir modelin nakliyesi, temel olarak, …

23 machine-learning  validation  regression-strategies