İstatistikler ve Büyük Veri

Statüm prof, temel olarak, eğer aşağıdaki üç taneden birine verildiyse diğer ikisini bulabileceğinizi söyledi: Kümülatif dağılım fonksiyonu Moment Oluşturma İşlevi Olasılık Yoğunluk Fonksiyonu Ancak ekonometri profesörüm CDF'lerin PDF'lerden daha temel olduğunu söyledi çünkü CDF'ye sahip olabileceğiniz örnekler var ama PDF tanımlanmadı. CDF'ler PDF'lerden daha mı temeldir? Bir PDF'nin veya bir …

43 probability  pdf  cdf  mgf 

Ben 64 karakter SHA256 hash var. Karma üretmek için kullanılan düz metnin 1 ile başlayıp başlamayacağını tahmin edebilecek bir model geliştirmeyi umuyorum. Bu "Mümkün" olursa olsun, hangi algoritma en iyi yaklaşım olabilir? İlk düşüncelerim: 1 ile başlayan büyük bir karma örneği ve 1 ile başlamayan büyük karma örneği oluşturun Bir …

43 machine-learning  logistic 

Şey olmadığını nüfus ortalamayla ilgili, ne söyleyebiliriz merak ediyorum, sahip olduğum her bir ölçüm olduğu (1 örnek boyutu). Açıkçası, daha fazla ölçüm yapmak isteriz, ancak bunları alamıyoruz.μμ\muy1y1y_1 Bana öyle geliyor ki, örnek ortalamasının, , önemsiz olarak eşit olduğundan , o zaman . Bununla birlikte, bir 1 numune miktarı ile, örnek …

43 mean  sample-size  small-sample  unbiased-estimator 

Geri yayılım ile eğitilmiş bir sinir ağına softmax katmanı eklemeye çalışıyorum, bu yüzden degradesini hesaplamaya çalışıyorum. Softmax çıktısı olup , burada , çıkış nöron numarasıdır. jhj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Eğer türetirsem, o zaman alırım ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Lojistik regresyona benzer. Ancak, sayısal gradyan kontrolüm başarısız olduğu için bu yanlış. Neyi yanlış yapıyorum? Çapraz …

43 neural-networks 

Ben rastgele ormanlara yeni geldiğim için hala bazı temel kavramlarla mücadele ediyorum. Doğrusal regresyonda, bağımsız gözlemler, sürekli varyans ... Rastgele orman kullandığımız zaman yaptığımız temel varsayımlar / hipotezler nelerdir? Model varsayımları açısından rastgele orman ve naif koylar arasındaki anahtar farklar nelerdir?

43 regression  classification  random-forest 

İçselliğin temel tanımının, tatmin edici olmadığı, ancak bunun gerçek dünya anlamında ne anlama geldiğini anlıyorum. Vikipedi makalesini arz ve talep örneğiyle okuyup anlamaya çalışarak okudum, ancak gerçekten yardımcı olmadı. Diğer içsel ve dışlayıcı açıklamanın sistem içinde ve sistemin dışında olduğu ve bana mantıklı gelmediğini duydum.X′ϵ=0X'ε=0 X'\epsilon=0

43 regression  causality  instrumental-variables 

Değişken uzunluklu zaman serisine dayanan (çok sınıflı) sınıflandırma problemini , yani bir işlev bulmak için seçilen bir dizi zaman serisi küresel bir görüntüsü üzerinden özellikleri sabit büyüklüğü D arasında bağımsız T , \ phi (X_T) = v_1, \ dots, v_D \ in \ mathbb {R} ~, ve sonra bu özellik …

43 time-series  classification  feature-selection  signal-processing 

Aşağıdaki grafikte gösterilen iki zaman serim var: Grafik, her iki zaman serisinin tüm ayrıntılarını gösteriyor, ancak gerektiğinde kolayca tesadüfî gözlemlere indirgeyebilirim. Sorum şu: Zaman serisi arasındaki farkları değerlendirmek için hangi istatistiksel yöntemleri kullanabilirim? Bunun oldukça geniş ve belirsiz bir soru olduğunu biliyorum, ancak bu konuda hiçbir tanıtım materyali bulamıyorum. Görebildiğim …

43 r  time-series 

Bu sitede , OLS artıklarının asimptotik olarak normal dağılım gösterip göstermediğini nasıl belirleyeceğimizi tartışan birkaç konu var . Artıkların R kodlu normalliklerini değerlendirmenin başka bir yolu da bu mükemmel cevapta verilmiştir . Bu, standart hale getirilmiş ve gözlemlenen artıklar arasındaki pratik farkla ilgili başka bir tartışmadır . Ancak diyelim ki …

43 regression  least-squares  residuals  assumptions  normality-assumption 

Tek tip dağılmış gibi görünen rasgele sayılar üretmenin bir yolunu arıyorum - ve her test tek tip olduklarını gösterecek - gerçek tek tip verilerden daha eşit dağılmış olmaları dışında . "Doğru" düzgün rastgele rastgele rastlamamdaki sorun, zaman zaman kümelenecek olmalarıdır. Bu etki, düşük bir örneklem boyutunda daha güçlüdür. Kabaca şöyle …

43 distributions  random-generation  uniform  quasi-monte-carlo 

Merak ediyorum, aralarındaki farkları tartışan ve her birinin ne zaman kullanılacağına dair bir rehber içeren çapraz doğrulama tekniklerinin bir özetini bilen var mı merak ediyorum. Vikipedi'nin en yaygın teknikleri içeren bir listesi var , ancak başka teknikler olup olmadığını ve onlar için herhangi bir taksonomi olup olmadığını merak ediyorum. Örneğin, …

43 cross-validation 

Giriş seviyesi bir sınıf öğretirken, tanıdığım öğretmenler öğrettikleri yöntemi örneklemek için bazı sayılar ve bir hikaye icat etme eğilimindedir. Tercih edeceğim şey, gerçek rakamlarla gerçek bir hikaye anlatmak. Bununla birlikte, bu hikayelerin, el ile hesaplamaları mümkün kılan çok küçük bir veri kümesiyle ilgili olması gerekir. Bu veri setleri için herhangi …

43 dataset  references  teaching 

Bazılarımız için, tavsiye belgeleri bu işin bir parçasıdır. İstatistiksel metodoloji makalelerine atıfta bulunurken, diğer alanlardan gelen önerilerin oldukça yararlı olduğunu düşünüyorum, yani bilgisayar bilimleri ve matematik . Bu soru daha uygulamalı istatistiksel makalelerin gözden geçirilmesiyle ilgilidir. Bu, kağıdın istatistiksel / matematiksel olmayan bir dergiye gönderildiği ve istatistiklerin "yöntemler" bölümünde açıklandığı …

43 journals  referee 

Kabaca bir p-değeri konuşmak, hipotez (model) verilen bir deneyin gözlemlenen sonucunun olasılığını verir. Bu olasılığa sahip (p-değeri) hipotezimizi (ne kadar muhtemel olduğu) değerlendirmek istiyoruz. Ancak gözlemlenen sonuç verilen hipotezin olasılığını hesaplamak daha doğal olmaz mıydı? Daha detaylı Bir madeni paramız var. 20 kez çevirip 14 kafa alıyoruz (20 kişiden 14'ü …

43 likelihood  p-value 

Farklılıklardaki farklar, özellikle ekonomi alanında uzun zamandır deneysel olmayan bir araç olarak popüler olmuştur. Biri lütfen farklılık farkıyla ilgili aşağıdaki sorulara net ve teknik olmayan bir cevap verebilir mi? Fark farkı tahmincisi nedir? Fark farkı tahmincisi neden kullanılıyor? Fark farkı tahminlerine gerçekten güvenebilir miyiz?

43 regression  econometrics  difference-in-difference