İstatistikler ve Büyük Veri

Bayesci istatistikleri öğretmek için bazı "gerçek dünya örnekleri" bulmak istiyorum. Bayesci istatistik, kişinin önceki bilgileri bir analize resmen dahil etmesine izin verir. Öğrencilere, analizlerine önceden bilgi ekleyen araştırmacıların bazı basit gerçek dünya örneklerini vermek istiyorum, böylece öğrenciler neden Bayesian istatistiklerini ilk etapta kullanmak isteyebileceklerinin motivasyonunu daha iyi anlayabilsinler. Araştırmacıların resmi …

10 bayesian  teaching 

LASSO regresyonu konusundaki anlayışım, minimizasyon problemini çözmek için regresyon katsayılarının seçildiğidir: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Uygulamada bu, bir Lagrange çarpanı kullanılarak yapılır ve sorunu çözme minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambda ve t arasındaki ilişki nedir ttt? Vikipedi yararsız …

10 optimization  lasso  regularization  lagrange-multipliers 

Sitede okuduğumda, çoğu cevap, çapraz öğrenme işleminin makine öğrenme algoritmalarında yapılması gerektiğini gösteriyor. Ancak, "Makine Öğrenmesini Anlama" kitabını okurken bazen çapraz doğrulamanın kullanılmaması daha iyi bir alıştırma olduğunu gördüm. Gerçekten kafam karıştı. Verilerin tamamı üzerinde eğitim algoritması çapraz doğrulamadan daha iyidir? Gerçek veri setlerinde oluyor mu? Let olmak hipotez sınıfları. …

10 machine-learning  self-study  cross-validation 

Bazı gözlemlerim var ve bu gözlemlere dayalı örneklemeyi taklit etmek istiyorum. Burada parametrik olmayan bir modeli göz önünde bulunduruyorum, özellikle, sınırlı gözlemlerden bir CDF tahmin etmek için çekirdek yumuşatma kullanıyorum.Ardından elde edilen CDF'den rastgele değerler çiziyorum.Aşağıdaki kodum, tekdüze dağılım kullanarak olasılık ve olasılık değerine göre CDF'nin tersini almak) x = …

10 sampling  matlab  kernel-smoothing  density-estimation 

Aksiyomatik olarak, olasılık, üç temel varsayımı (Kolmogorov'un varsayımları) karşılarsa, her bir olay gerçek bir sayısı atayan bir işlev :P ( A ) APPPP( A )P(A)P(A)birAA P( A ) her A için ≥ 0 P(A)≥0 for everyAP(A) \geq 0 \ \text{for every} A P( Ω ) = 1P(Ω)=1P(\Omega) = 1 Eğer …

10 probability  kolmogorov-axioms 

Standart öğretim, duyarlılık ve özgüllüğün testin özellikleri olduğunu ve yaygınlıktan bağımsız olduğunu söylüyor. Ama bu sadece bir varsayım değil mi? Harrison'ın dahiliye prensipleri 19. baskı diyor Duyarlılık ve özgüllüğün test doğruluğunun yaygınlığından bağımsız parametreler olduğu uzun zamandır iddia edilmektedir ve birçok metin hala bu ifadeyi yapmaktadır. Bununla birlikte, bu istatistiksel …

10 bayesian  epidemiology  diagnostic  sensitivity-specificity 

Doğrusal regresyonu gözden geçiriyorum. Greene'nin ders kitabı şöyle diyor: Şimdi, elbette, doğrusal regresyon modeli üzerinde gibi başka varsayımlar olacaktır E(ϵ|X)=0E(ϵ|X)=0E(\epsilon|X)=0. Bu varsayım (aslında tanımlayan ϵϵ\epsilon) doğrusallık varsayımı ile birleştiğinde , yapıyı modelin üzerine yerleştirir. Bununla birlikte, doğrusallık varsayımı tek başına modelimize herhangi bir yapı , çünkü ϵϵϵ\epsilon tamamen keyfi olabilir. …

10 econometrics  linear-model  assumptions  causality  definition 

Bir tahmin edicinin ve bir tahminin ne olduğuyla ilgili anlayışım: Tahmincisi: Bir tahmin hesaplamak için bir kural Tahmin: Tahminciye dayalı bir veri kümesinden hesaplanan değer Bu iki terim arasında, rastgele değişkeni işaret etmem istenirse, değer veri kümesindeki örneklere göre rastgele değişeceğinden, tahminin rastgele değişken olduğunu söyleyebilirim. Fakat bana verilen cevap, …

10 mathematical-statistics  inference  random-variable  estimators 

Aklımda belirli bir örnek veya görevim yok. Ben sadece b-spline'ları kullanma konusunda yeniyim ve regresyon bağlamında bu işlevi daha iyi anlamak istedim. Yanıt değişkeni ile bazı belirleyicileri arasındaki ilişkiyi değerlendirmek istediğimizi varsayalım . Öngörücüler bazı sayısal değişkenlerin yanı sıra bazı kategorik değişkenleri içerir.yyyx1, x2, . . . , xpx1,x2,...,xpx_1, x_2,...,x_p …

10 regression  multiple-regression  splines  polynomial  penalized 

Boyutsallığın lanetinden bahsederken bu sıklıkla belirtilir ve gider (göreceli kontrast adı verilen sağ formül) limd→ ∞var ( | | Xd| |kE[ | | Xd| |k]) =0,sonra: Dmaksimumkd- DminkdDminkd→ 0limd→∞var(||Xd||kE[||Xd||k])=0,sonra:Dmaksimumdk-DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Teoremin sonucu, belirli bir sorgu noktasına olan maksimum …

10 machine-learning  distance-functions  high-dimensional 

Modelleme ve simülasyonda sık görülen basitleştirme, rastgele bir değişkenin ortalama değeri ile değiştirilmesidir. Bu basitleştirme ne zaman yanlış sonuca yol açacaktı?

10 modeling  mean  random-variable 

Pitman – Koopman – Darmois teoremi, parametrelenmiş bir olasılık dağılım ailesinden bir iid örneği, skaler bileşen sayısı örnek büyüklüğü ile birlikte büyümeyen yeterli bir istatistiği kabul ederse, o zaman üstel bir ailedir. Herhangi bir ders kitabı veya temel sunum kağıdı kanıt veriyor mu? Neden bu üç kişinin ismini alıyor?

10 mathematical-statistics  references 

Ben seq2seq modelleme için kodlayıcı-kod çözücü mimarisini tanıttı Cho 2014 kağıt üzerinde çalışıyorum . Bu makalede, uzunluğundaki bir giriş ve uzunluğundaki çıkışı için kayıp fonksiyonu olarak girdi verilen çıkışın (ya da negatif log olabilirliği) olasılığını kullanıyor görünmektedir :M y NxxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | …

10 deep-learning  loss-functions  rnn 

Aşağıda, Simpson paradoksunun varlığına dair 'resimle kanıt' olarak sunulan birçok görselleştirme ve muhtemelen terminoloji ile ilgili bir soru yer almaktadır. Simpson Paradoksu, nümerik örnekleri tanımlamak ve vermek için oldukça basit bir olgudur (bunun olmasının nedeni derin ve ilginçtir). Paradoks, marjinal ilişkinin her koşullu ilişkiden farklı bir yöne sahip olduğu 2x2x2 …

10 mathematical-statistics  data-visualization  causality  contingency-tables  simpsons-paradox 

Varsayalım ki 3 rastgele değişken ve ikili marjinal dağılım olduğunu biliyoruz, ancak başka bir şey bilmiyoruz (bu tür koşullu bağımsızlık olarak). Ortak dağıtım miyiz?X1, X2, X3X1,X2,X3X_1,X_2,X_3P( X1, X2) , P( X2, X3) , P( X3, X1)P(X1,X2),P(X2,X3),P(X3,X1)P(X_1,X_2), P(X_2,X_3), P(X_3,X_1)P( X1, X2, X3)P(X1,X2,X3)P(X_1,X_2,X_3)

10 probability  distributions