İstatistikler ve Büyük Veri

İki rasgele değişken arasındaki nedensel ilişkinin matematiksel tanımı nedir? İki rastgele değişken XXX ve YYY ortak dağılımından bir örnek verildiğinde , XXX neden neden olduğunu söyleyebiliriz ?YYY Bağlam için nedensel keşif hakkındaki bu makaleyi okuyorum .

16 machine-learning  causality 

Denetimli öğrenmenin tanımı , etiketli verilere (çevredeki diğer bilgilerin aksine) dayalı belirli bir ödül fonksiyonu ile pekiştirici öğrenmenin bir alt kümesidir . Bu doğru bir tasvir mi?

16 machine-learning  terminology  reinforcement-learning  supervised-learning  definition 

Çalışmamda, bireyler bir veri kümesinin "ortalama" değerine başvurduğunda, genellikle aritmetik ortalamaya (yani "ortalama" veya "beklenen değer") atıfta bulunurlar. Ben sağlamışsa geometrik ortalama, insanlar muhtemelen "demek" tanımı önceden bilindiği gibi ben art niyetli ya da olmayan yararlı oluyorum düşünürdüm. Bir veri kümesinin "medyan" birden çok tanım olup olmadığını belirlemek için çalışıyorum. …

16 median  definition 

Uygun bir puanlama kuralı, 'gerçek' bir model tarafından en üst düzeye çıkarılan bir kuraldır ve sistemin 'korunmasına' veya oyun oynamaya izin vermez (modelin skoru iyileştirmek için gerçek inancı olduğu gibi kasıtlı olarak farklı sonuçları bildirmek). Brier skoru doğru, doğruluk (oran doğru olarak sınıflandırıldı) uygun değil ve genellikle cesaret kırılıyor. Bazen …

16 classification  references  roc  measurement-error  scoring-rules 

Let ve aynı belirtilmemiş dağılım formundan ancak farklı parametre değerleri hesaba katılması ile oluşturulan bağımsız sürekli rastgele değişkenler. İzin verilen tüm parametre değerleri için aşağıdaki örnekleme olasılığının bulunduğu bir parametrik dağıtım formu bulmakla ilgileniyorum:Y ∼ Dist (X∼Dist(θX)X∼Dist(θX)X \sim \text{Dist}(\theta_X)Y∼Dist(θY)Y∼Dist(θY)Y \sim \text{Dist}(\theta_Y) P(X>Y|θX,θY)=θ2Xθ2X+θ2Y.P(X>Y|θX,θY)=θX2θX2+θY2.\mathbb{P}(X > Y| \theta_X, \theta_Y) = \frac{\theta_X^2}{\theta_X^2 + \theta_Y^2}. …

16 probability  distributions 

Bu sorudan biri CV'de , diğeri ekonomi alanında son iki etkileşimimden ilham aldım . , Bir cevap var yayınlanmıştır vardı tanınmış "Zarf Paradox" (seni sakıncası olarak "doğru cevap" ama durumun yapısı hakkında belirli varsayımlara akan cevap olarak). Bir süre sonra bir kullanıcı eleştirel bir yorum gönderdi ve ben de onun …

16 bayesian  mathematical-statistics  prior  theory  philosophical 

Üç , ve vektörü verildiğinde , ve , ve ve ve arasındaki korelasyonların hepsinin negatif olması mümkün müdür ? Yani bu mümkün mü?aaabbbcccaaabbbaaacccbbbccc corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0\begin{align} \text{corr}(a,b) < 0\\ \text{corr}(a,c) < 0 \\ \text{corr}(b,c) < 0\\ \end{align}

16 correlation  correlation-matrix 

Normal dağılımın ilk türetme neydi yapabilirsiniz o türetme çoğaltmak ve ayrıca tarihsel bağlamda anlatmaya ? Demek istediğim, eğer insanlık normal dağılımı unuttuysa, onu yeniden keşfetmenin en olası yolu nedir ve en olası türetme ne olurdu? İlk türevlerin, binomlar gibi temel kesikli olasılık dağılımlarını hesaplamak için hızlı yollar bulmaya çalışmanın bir …

16 probability  distributions  normal-distribution  references  history 

Az önce "Akaike bilgi kriteri" ile karşılaştım ve model seçimiyle ilgili bu büyük miktarda literatürü fark ettim (BIC gibi şeyler de var gibi görünüyor). Çağdaş makine öğrenimi yöntemleri neden bu BIC ve AIC modeli seçim kriterlerinden yararlanmıyor?

16 machine-learning  model-selection  aic  bic 

Bir oyuncak veri kümesi üzerinde ikili sınıflandırma yapmak için kare kaybı kullanmaya çalışıyorum. mtcarsVeri seti kullanıyorum , iletim tipini tahmin etmek için galon başına mil ve ağırlık kullanıyorum. Aşağıdaki grafik, farklı renkteki iki tür iletim tipi verisini ve farklı kayıp fonksiyonu tarafından oluşturulan karar sınırını göstermektedir. Kare kayıp burada temel …

16 r  machine-learning  logistic  optimization  loss-functions 

Gama rasgele değişkeni düşünün X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta). Ortalama, varyans ve çarpıklık için düzgün formüller vardır: E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Skewness⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Şimdi log dönüştürülmüş rasgele değişkeni düşünün . Wikipedia, ortalama ve varyans için formüller verir:Y=log(X)Y=log⁡(X)Y=\log(X) E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y]=ψ(α)+log⁡(θ)Var⁡[Y]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} gama fonksiyonunun logaritmasının birinci ve ikinci türevleri olarak tanımlanan digamma …

16 gamma-distribution  skewness  logarithm 

Rasgele bir popülasyon örneği incelendi. Vejetaryen diyet yapıp yemedikleri soruldu. Evet yanıtı verdiyse, ne kadar süredir kesintisiz vejetaryen diyet yediğini belirtmeleri istendi. Bu verileri vejetaryenliğe ortalama yapışma süresini hesaplamak için kullanmak istiyorum. Başka bir deyişle, vejetaryen olunca ortalama olarak vejetaryen kaldıklarını bilmek istiyorum. Diyelim ki: Tüm katılımcılar doğru ve doğru …

16 survival  mean  missing-data  survey  weighted-mean 

R'deki model formüller y ~ x + a*b + c:d Wilkinson notasyonuna dayanmaktadır : Wilkinson ve Rogers 1973, Varyans Analizi için Faktöriyel Modellerin Sembolik Açıklaması . Bu makale karışık modeller (o zamanlar mevcut olmayabilir) için gösterimleri tartışmadı. Peki lme4R'de karışık paket formüller ve ilgili paketler nerede kullanıldı y ~ x …

16 r  mixed-model  lme4-nlme  notation  history 

Özel test setinin sonuçları modeli daha da hassaslaştırmak için kullanılamazken, özel test seti sonuçlarına dayanarak çok sayıda modelden model seçimi yapılmıyor mu? Tek başına bu süreç boyunca özel test setine fazla uyuşmaz mıydınız? Göre : "Sözde Matematik ve Mali Şarlatanlık Out-of-the Numune Performansına Backtest overfitting Etkileri" Bailey ve arkadaşları tarafından …

16 model-selection  overfitting  out-of-sample 

Günlük kaybını ve nasıl çalıştığını daha iyi anlamaya çalışıyorum ama bulamadığım bir şey, günlük kaybı numarasını bir çeşit içeriğe koymaktır. Modelimin günlük kaybı 0.5 ise, bu iyi mi? İyi ve kötü puan nedir? Bu eşikler nasıl değişir?

16 machine-learning  loss-functions  log-loss