İstatistikler ve Büyük Veri

Kapalı . Bu sorunun ayrıntılara veya açıklığa ihtiyacı var . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Bu yayını düzenleyerek ayrıntıları ekleyin ve sorunu giderin . 2 yıl önce kapalı . Profesörümün gerçek bir regresyon modeli oluşturmamızı, bir veri örneği taklit etmemizi istediği bir ev ödevi üzerinde …

11 self-study  multiple-regression  estimation  linear-model 

Örnek olarak, bir kişinin resmine dayanarak bir yaş tahmincisi oluşturduğumuzu varsayalım. Aşağıda takım elbiseli iki kişi var, ancak birincisi açıkça ikincisinden daha genç. (kaynak: tinytux.com ) Bunu ima eden birçok özellik vardır, örneğin yüz yapısı. Bununla birlikte, en çarpıcı özellik kafa boyutunun vücut boyutuna oranıdır : (kaynak: wikimedia.org ) Diyelim …

11 neural-networks  computer-vision 

Rastgele oluşturulmuş 80'den fazla milyon ve sıfır içeren bir veri dosyası olduğunu varsayın. Bu dosyadan, rastgele ondalık tam sayıların bir listesini oluşturmak istiyoruz. Bu dönüşümü planlıyoruz. 80 milyon basamağı 4 ikili basamaklı gruplara ayırın. Her 4 basamaklı ikiliyi ondalık biçime dönüştürün. 9'dan büyük tüm ondalık değerleri atın. Bu, 0-9 arasında …

11 monte-carlo  random-generation  randomness 

Bu soru Martijn'ın buradaki cevabından ilham alıyor . Bir binom veya Poisson modeli gibi bir parametre ailesi için bir GLM taktığımızı ve bunun tam bir olasılık prosedürü olduğunu varsayalım (aksine, quasipoisson). Sonra, varyans ortalamanın bir fonksiyonudur. Binom ile: ve Poisson ile var [ X ] = E [ X ] …

11 regression  generalized-linear-model  inference  approximation  t-distribution 

Tek değişkenli regresyon ayarlarında, y=Xβ+noisey=Xβ+noisey = X\beta +noise burada bir vektör gözlem ve tasarım matris belirleyicileri. Çözüm .y∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in \mathbb{R}^{n \times m}mmmβ0=(XTX)−1Xyβ0=(XTX)−1Xy\beta_0 = (X^TX)^{-1}Xy Çok değişkenli regresyon ayarlarında, Y=Xβ+noiseY=Xβ+noiseY = X\beta +noise burada gözlem matrisidir ve farklı gizli değişkenler. Çözüm .y∈Rn×py∈Rn×py \in \mathbb{R}^{n \times p}nnnpppβ0=(XTX)−1XYβ0=(XTX)−1XY\beta_0 = (X^TX)^{-1}XY Sorum …

11 regression  multivariate-analysis  multivariate-regression 

Bu deftere bakıyordum ve şu ifadeden şaşkınım: Normallik hakkında konuştuğumuzda, demek istediğimiz, verilerin normal bir dağılım gibi görünmesi. Bu önemlidir, çünkü birkaç istatistik testi buna dayanmaktadır (örneğin, t-istatistikleri). Bir T istatistiğinin normal dağılımı izlemek için neden verilere ihtiyacı olduğunu anlamıyorum. Aslında Wikipedia da aynı şeyi söylüyor: Öğrencinin t-dağılımı (veya basitçe …

11 mathematical-statistics  normal-distribution 

Bazı noktalarda gördük diğerine göre bir olasılık ölçü Radon Nikodym türevinin kullanımı, özellikle bu keyfi bir parametre için bir model olasılığı ölçü türevidir Kullback-Leibler sapma bölgesi gerçek parametresine :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Bunların her ikisi de bir parametre değerine bağlı veri noktaları uzayında olasılık ölçümleri olduğunda: .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) Kullback-Leibler sapmasında veya …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Aynı Y ve üç seviyeli X'te iki regresyonum var. Genel olarak n = 15, her grupta veya X seviyesinde n = 5'tir. İlk regresyon X'i kategorik olarak ele alır, seviye değişkenlerini seviye 2 ve 3'e seviye olarak atar. biri referanstır. Göstergeler / mankenler şöyle: X1 = 1 seviye = 2, …

11 regression  anova 

İşte Ian Goodfellow'un Deep Learning kitabında okuduğum bir şey . Sinir ağları bağlamında, "L2 parametre normu cezası genellikle ağırlık azalması olarak bilinir. Bu düzenleme stratejisi ağırlıkları başlangıç ​​noktasına yakınlaştırır [...]. Daha genel olarak, parametreleri herhangi bir noktaya yakın olacak şekilde düzenleyebiliriz ancak model parametrelerini sıfıra doğru düzenlemek çok daha yaygındır. …

11 machine-learning  neural-networks  deep-learning  regularization 

Diğer makine öğrenimi algoritmalarına kıyasla sinir ağları ve yararları hakkındaki anlayışımı geliştirmek istiyorum. Anlayışım aşağıdaki ve sorum şu: Lütfen anlayışımı düzeltebilir ve tamamlayabilir misiniz? :) Benim anlayışım: (1) Yapay sinir ağları = Giriş değerlerinden çıkış değerlerini tahmin eden bir işlev. Evrensel Yaklaşım Teoremine ( https://en.wikipedia.org/wiki/Universal_approximation_theorem ) göre, yeterli nöron verildiğinde …

11 regression  machine-learning 

İki bağımsız rasgele değişken X ve Y varsa, X ve XY ürünü arasındaki korelasyon nedir? Bu bilinmiyorsa, en azından X ve Y'nin sıfır ortalama ile normal olması durumunda ne olacağını bilmek isterim, eğer bu daha kolay çözülürse.

11 correlation 

Kalman filtresini çok standart bir şekilde kullanıyorum. Sistem durumu denklem ile temsil edilir xt + 1= Fxt+ vt + 1xt+1=Fxt+vt+1x_{t+1}=Fx_{t}+v_{t+1} ve gözlem denklemi yt= Hxt+ A zt+ wtyt='Hxt+birzt+wty_{t}=Hx_{t}+Az_{t}+w_{t} . Ders kitapları öğrettikleri Kalman filtresi uygulayarak ve "tek adım önde aldıktan sonra x t | t - 1x^t | t - …

11 likelihood  kalman-filter 

Hipotez testi bir Sınıflandırma problemine benzer. Diyelim ki bir gözlem (konu) için 2 olası etiketimiz var - Suçlu ve Suçsuz. Suçlu Olmamanın boş Hipotez olmasına izin verin. Sorunu bir Sınıflandırma bakış açısından incelersek, Veriler göz önüne alındığında, 2 Sınıfın her birine ait konunun olasılığını tahmin edecek bir Sınıflandırıcıyı eğitirdik. Daha …

11 probability  hypothesis-testing  classification  p-value 

Ben makine öğrenimi / veri bilimi okuyan bir fizik öğrencisiyim, bu yüzden bu sorunun herhangi bir çatışmaya başlamasını istemiyorum :) Ancak, herhangi bir fizik lisans programının büyük bir kısmı laboratuvarlar / deneyler yapmaktır, bu da çok fazla veri anlamına gelir. işleme ve istatistiksel analiz. Ancak, fizikçilerin verilerle ilgilenme şekli ile …

11 regression  machine-learning  cross-validation  dataset  experiment-design 

Ortalama 0 ile bir ± 1±1\pm 1 dizi oluşturmayı biliyorum . Örneğin, Matlab'da, uzunluk 10000 ± 1 dizisi oluşturmak istiyorsanız , bu:000± 1±1\pm 1100001000010000 2*(rand(1, 10000, 1)<=.5)-1 Bununla birlikte, ortalama 0.05 ile bir ± 1±1\pm 1 sekansı nasıl üretilir , yani 1 biraz tercih edilirken?0.050.050.05111

11 distributions  sampling  random-generation