İstatistikler ve Büyük Veri

Kuantum Mekaniği, olasılık teorisini negatif / hayali sayılara, çoğunlukla girişim kalıplarını, dalga / parçacık dualitesini ve genel olarak bunun gibi garip şeyleri açıklamak için genelleştirmiştir. Bununla birlikte, Bayesian olasılığın değişmeyen bir genellemesi (Terrence Tao'dan alıntı) olarak daha soyut görülebilir. Hiçbir şey bir uzman olmasa da, bu şeyleri merak ediyorum. Bunun …

27 probability 

Şu anda yaklaşık 20M kayıtları analiz etmeli ve tahmin modelleri oluşturmalıyım. Şimdiye kadar Statistica, SPSS, RapidMiner ve R'yi denedim. Bu Statistica arasında veri madenciliği ile uğraşmak en uygun gibi görünüyor ve RapidMiner kullanıcı arayüzü de çok kullanışlı, ancak Statistica, RapidMiner ve SPSS'in sadece daha küçük veri setleri için uygun olduğu …

27 large-data  software  data-mining 

Ben R ve zaman serileri analizinde yeniyim. Uzun (40 yıl) bir günlük sıcaklık süresi serisinin eğilimini bulmaya çalışıyorum ve farklı yaklaşımlar denedim. Birincisi sadece basit bir doğrusal regresyon ve ikincisi Loess'ın Time Serisinin Mevsimsel Ayrışması. İkincisi, mevsimsel bileşen eğiliminden daha büyük olduğu görülmektedir. Fakat trendi nasıl ölçebilirim? Bu trendin ne …

27 r  time-series  trend 

Piyasalar arası analiz, farklı pazarlar arasındaki ilişkileri bulmak yoluyla piyasa davranışını modelleme yöntemidir. Çoğu zaman, S&P 500 ve 30 Yıllık ABD hazineleri, iki pazar arasında bir korelasyon hesaplanır. Bu hesaplamalar, sabit zaman serisi tanımına uymadığı herkes için açık olan fiyat verilerine dayanmaktan çok daha sıktır. Olası çözümler bir yana (bunun …

27 correlation  stationarity 

Bir istatistikçiden çok bir programcıyım, bu yüzden umarım bu soru çok saf değildir. Rastgele zamanlarda örnekleme program uygulamalarında olur. Programın durumunun N = 10 rasgele zamanlı örneğini alırsam, Foo işlevinin yürütülmekte olduğunu görebiliyordum, örneğin bu örneklerden I = 3. Bana, Foo'nun uygulandığı F zamanının gerçek kesirinden bahseden şeyle ilgileniyorum. Binom …

27 binomial  beta-binomial  beta-distribution 

Soru: İstatistikçi (veya bir uygulayıcı) açısından bakıldığında, gözlemsel bir çalışma ile eğilim puanları kullanarak ( bir deney değil ) nedensellik ortaya çıkabilir mi? Lütfen, bir alev savaşı veya fanatik bir tartışma başlatmak istemeyin. Amaç: Stat doktora programımızda sadece çalışma grupları ve birkaç konu oturumuyla nedensel çıkarımlara dokunduk. Bununla birlikte, diğer …

27 causality  propensity-scores 

Makine öğrenmesi bağlamında, aradaki fark nedir? denetimsiz öğrenme denetimli öğrenme ve yarı denetimli öğrenme? Ve bakılması gereken temel algoritmik yaklaşımlardan bazıları nelerdir?

27 machine-learning  unsupervised-learning  supervised-learning  semi-supervised 

Her birinin üzerinde bir harf bulunan taşlı bir çantanız olduğunu varsayalım . Orada 'A' harfi ile fayans 'B' ile, vb, ve 'joker' karolar (Elimizdeki ). Sonlu sözcüklerden oluşan bir sözlüğünüz olduğunu varsayalım. Torbadan değiştirmeden karoları seçersiniz . Seçilen döşemeleri verilen sözlükten sıfır sözcük oluşturma olasılığını nasıl hesaplarsınız (veya tahmin edersiniz) …

27 sampling  games  probability 

CIFAR10 veri setinde basit bir sinir ağı eğitimi alıyorum. Bir süre sonra doğrulama kaybı artmaya başlarken doğrulama doğruluğu da artmaktadır. Test kaybı ve test doğruluğu gelişmeye devam ediyor. Bu nasıl mümkün olabilir? Validasyon kaybının artması durumunda doğruluğun azalması gerektiği görülmektedir. Not: Birkaç benzer soru var, ama kimse orada neler olduğunu …

27 neural-networks  deep-learning  conv-neural-network  overfitting 

Doktora için teorik makine öğrenmesi - transfer öğrenimi, spesifik olması için çalışıyorum. Merakım dışında, neden dışbükey optimizasyon dersi almalıyım? Teorik makine öğrenimi konusundaki araştırmamda dışbükey optimizasyondan ne gibi faydalar alabilirim?

27 machine-learning  optimization  convex  transfer-learning 

Ortalama Hassasiyet (AP), Hassas Geri Çağırma Eğrisi altındaki Alan mı (PR eğrisi AUC'si)? DÜZENLE: PR AUC ve AP'deki farklılıklar hakkında bazı yorumlar. AUC, hassasiyetin yamuk enterpolasyonuyla elde edilir. Alternatif ve genellikle neredeyse eşdeğer bir ölçü, info.ap olarak döndürülen Ortalama Kesinliktir (AP). Bu, yeni bir pozitif örnek her çağrıldığında elde edilen …

27 scikit-learn  precision-recall  auc  average-precision 

I regresyon parametre vektör Lasso Tahmin, referans bir dizi okuma posterior moduna karşılık gelir her biri için önceden dağılımı olan (aynı zamanda Laplace dağılımı olarak da bilinir), bir çift üstel dağılımıdır.BBBBBBBiBiB_i Bunu kanıtlamaya çalışıyorum, birisi detayları çözebilir mi?

27 regression  bayesian  lasso  prior  regularization 

Regresyon görevini çözmeye çalışıyorum. 3 modelin farklı veri alt kümeleri için iyi çalıştığını öğrendim: LassoLARS, SVR ve Gradient Tree Boostting. Tüm bu 3 modeli kullanarak tahminlerde bulunduğumda ve sonra 'gerçek çıktı' tablosu yaptığımda ve 3 modelimin çıktılarını gördüğümde, modellerin en az birinin gerçekten gerçek çıktıya yakın olduğunu gördüm, ancak diğer …

27 regression  scikit-learn  ensemble 

Sorun: Diğer okuduğunuz mesajlarınpredict karışık etkiler için geçerli değildir lmer: [R] de {lme4} modelleri. Bu konuyu bir oyuncak veri seti ile keşfetmeye çalıştım ... Arka fon: Veri kümesi bu kaynaktan uyarlanır ve ... require(gsheet) data <- read.csv(text = gsheet2text('https://docs.google.com/spreadsheets/d/1QgtDcGJebyfW7TJsB8n6rAmsyAnlz1xkT3RuPFICTdk/edit?usp=sharing', format ='csv')) Bunlar ilk satırlar ve başlıklar: > head(data) Subject Auditorium …

27 r  mixed-model  lme4-nlme 

Andrew Ng'nin Makine Öğrenimi kursunu bir yıl kadar önce tamamladım ve şimdi Lise Matematik araştırmamı Lojistik Regresyon çalışmalarına ve performansı optimize etmek için kullandığım tekniklere yazıyorum. Bu tekniklerden biri elbette düzenlileşmedir. Düzenlemenin amacı, maliyet fonksiyonunu model basitliği hedefini içerecek şekilde genişleterek fazladan takmayı önlemektir. Bunu, bazı düzenlileştirme paramaterleriyle çarpılan her …

27 regression  machine-learning  optimization  regularization  overfitting