İstatistikler ve Büyük Veri

Psikolojide çok iyi bir öğrenciyim ve istatistiklerle daha fazla bağımsız çalışmalara devam ettikçe, örgün eğitimimin yetersizliğinden dolayı şaşırıyorum. Hem kişisel hem de ikinci el tecrübesi, lisans ve lisansüstü eğitimdeki istatistiksel titizliğin yetersizliğinin psikoloji içinde her yerde bulunmadığını göstermektedir. Bu nedenle, kendim gibi bağımsız öğrencilerin, daha üstün (daha güçlü veya esnek …

227 fallacy 

AIC ve BIC, tahmini parametrelerin sayısı için cezalandırılmış modele uygun değerlendirme metotlarıdır. Anladığım kadarıyla BIC, AIC'den daha fazla ücretsiz parametre modeline ceza veriyor. Kriterlerin katılığına dayalı bir tercihin ötesinde, BIC yerine AIC'yi tercih etmenin başka nedenleri var mı?

222 modeling  aic  cross-validation  bic  model-selection 

Bir sinir ağını eğitirken, ne tür bir fark yaratabilir? parti büyüklüğü ve yineleme sayısıaaabbb parti büyüklüğünü ve ile yineleme sayısınıcccddd nerede ?ab=cdab=cd ab = cd Aksi taktirde, sinir ağını aynı miktarda eğitim örneğiyle eğittiğimizi varsayarak, optimum parti büyüklüğünü ve yinelemenin sayısını nasıl ayarlayacağız? (parti büyüklüğü * yineleme sayısı = sinir …

221 neural-networks  train 

Kullandığım bazı istatistiksel paketlerin bu iki kavramı bir araya getirdiği anlaşılıyor. Ancak, birini üst üste kullanmak için doğru olması gereken farklı varsayımlar veya verilerin 'formaliteleri' olup olmadığını merak ediyorum. Gerçek bir örnek inanılmaz derecede faydalı olacaktır.

214 pca  factor-analysis 

Veri madenciliği, istatistik, makine öğrenmesi ve AI arasındaki fark nedir? Çok benzer problemleri çözmeye çalışan 4 alan olduklarını söylemek doğru olur mu? Farklı yaklaşımlarla? Tam olarak ortak noktaları nedir ve nereleri farklıdır? Aralarında bir çeşit hiyerarşi varsa, ne olurdu? Daha önce de benzer sorular sorulmuştu ama hala anlamadım: Veri Madenciliği …

208 machine-learning  data-mining 

Standart bir makine öğrenme senaryosu hayal edin: Çok değişkenli büyük bir veri kümesiyle karşı karşıya kalıyorsunuz ve oldukça bulanık bir anlayışınız var. Yapmanız gereken şey, sahip olduğunuza bağlı olarak bazı değişkenler hakkında tahminlerde bulunmaktır. Her zamanki gibi, verileri temizler, açıklayıcı istatistiklere bakar, bazı modelleri çalıştırır, bunları doğrular vb., Ancak birkaç …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... varyans hakkındaki bilgilerini sezgisel bir şekilde (sezgisel olarak "anlamak" ) veya şunu söyleyerek artırabileceğimi farz edersek : Bu, veri değerlerinin 'ortalamadan' ortalama uzaklığıdır - ve varyans kare cinsindendir. birimleri, birimleri aynı tutmak için karekökü alırız ve buna standart sapma denir. Diyelim ki, bu çok şey ifade edildi ve (umarım) …

207 variance  covariance  intuition 

Yani aritmetik ortalama (AM), geometrik ortalama (GM) ve harmonik ortalama (HM) var. Onların matematiksel formülasyonları da ilişkili kalıplaşmış örnekleri ile birlikte iyi bilinmektedir (örneğin, Harmonik ortalama ve bununla ilgili problemleri hızlandırmak için uygulanması). Bununla birlikte, beni her zaman ilgilendiren bir soru, "belirli bir bağlamda kullanmak için en uygun olanın ne …

197 mean 

Otomatik model seçimi için bir algoritma uygulamak istiyorum. Kademeli bir regresyon yapmayı düşünüyorum ama her şey yapacaktır (ancak doğrusal regresyonlara dayanmalıdır). Benim sorunum bir metodoloji veya açık kaynaklı bir uygulama bulamamamdır (Java’da uyanıyorum). Aklımdaki metodoloji şöyle bir şey olurdu: Tüm faktörlerin korelasyon matrisini hesaplar birbiriyle düşük korelasyona sahip faktörleri seçmek …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Bayes istatistikleri için en iyi tanıtım ders kitabı hangisidir? Cevap başına bir kitap lütfen.

192 bayesian  references 

Olumlu verilerim çok eğrilmişse, genellikle günlükleri alırım. Fakat sıfır içeren, eğri, negatif olmayan verilerle ne yapmalıyım? Kullanılan iki dönüşüm gördüm: ile eşleşen düzgün bir özelliğe sahip olan log ( x + 1 ) .kütük( x + 1 )kütük⁡(x+1)\log(x+1) burada c tahmin edilir veya çok küçük bir pozitif değer olarak ayarlanır.kütük( …

191 data-transformation  large-data 

Eminim ki birçok kişi 'sizin için google yapmama izin ver' bağlantılarıyla yanıt verecektir, bu yüzden bunu anlamaya çalıştığımı söylemek istiyorum, lütfen buradaki anlayış eksikliğimi affedin, ancak bunun nasıl olduğunu çözemiyorum. Bir sinir ağının pratik uygulaması aslında işe yarıyor. Giriş katmanını ve verilerin nasıl normalleştirileceğini anlıyorum, ayrıca önyargı birimini de anlıyorum, …

187 machine-learning  neural-networks  nonlinear-regression 

Bunun gibi R veri çerçevem ​​var: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Veri çerçevesini aşağıdaki biçimde almam gerekiyor: group mean sd 1 34.5 …

181 r  data-transformation 

Doktora programımdan son zamanlarda istatistiklerden mezun olduktan sonra son birkaç aydır istatistik alanında iş aramaya başladım. Neredeyse her şirkette " Data Scientist " ünvanı olan bir iş ilanı vardı . Aslında, çoktan gitmiş gibi hissetmek, İstatistik Bilimcisi ya da İstatistikçi iş unvanlarını görmenin günleriydi . Veri bilimcisi olmak, istatistikçi olmanın …

181 terminology  definition  careers 

Python Keras packageSinir ağı için kullanıyorum . Bu bağlantı . Is batch_sizetesti numune sayısına eşittir? Wikipedia'dan şu bilgilere sahibiz : Bununla birlikte, diğer durumlarda, toplam gradyanı değerlendirmek, tüm summand işlevlerinden gradyanların pahalı değerlendirmelerini gerektirebilir. Eğitim seti muazzam olduğunda ve basit formüller olmadığında, gradyanların toplamını değerlendirmek çok pahalı olur çünkü gradyanı …

174 neural-networks  python  terminology  keras