İstatistikler ve Büyük Veri

Sinir ağına sahip bir otomatik kodlayıcı uygularken, çoğu insan aktivasyon fonksiyonu olarak sigmoid kullanacaktır. Bunun yerine ReLU kullanabilir miyiz? (ReLU'nun üst sınırda bir sınırı olmadığından, sigmoid kullanıldığında otomatik kodlayıcı için kısıtlanmış kriterlerin aksine, temel olarak giriş görüntüsünün 1'den büyük piksel olabileceği anlamına gelir).

11 machine-learning  neural-networks  deep-learning  autoencoders 

Aşağıdaki kodla stl (Zaman Serisinin Mevsimlik Ayrışması) plot(stl(ts(rnorm(144), frequency=12), s.window="periodic")) Yukarıdaki koda rastgele veriler (rnorm fonksiyonu) konulduğunda önemli mevsimsel değişiklikler gösterir. Model farklı olsa da, bu her çalıştırıldığında önemli değişiklikler görülür. Bu tür iki desen aşağıda gösterilmiştir: Mevsimsel değişiklik gösterdiğinde bazı verilerde stl işlevine nasıl güvenebiliriz. Bu mevsimsel varyasyonun diğer …

11 time-series  seasonality  loess 

4 Sütunlar arasında değerler içeren bir veri çerçevesi var: Örneğin: ID, price, click count,rating Ne yapmak istiyorum bu veri çerçevesi her grup aynı fiyat, tıklama sayısı ve derecelendirme öznitelikleri dağılımı ile eşit sayıda satır olacak N farklı gruplara bölmek olduğunu. Bununla nasıl başa çıkılacağı hakkında en ufak bir fikrim olmadığından, …

11 r  distributions 

Kare şeklindeki normal CDF'nin kapalı formda beklentisi nasıl değerlendirilebilir? E [ Φ ( a Z+ b )2] = ∫∞- ∞Φ ( a z+ b )2ϕ ( z)dzE[Φ(aZ+b)2]=∫−∞∞Φ(az+b)2ϕ(z)dz\mathbb{E}\left[\Phi\left(aZ+b\right)^{2}\right] = \int_{-\infty}^{\infty}\Phi\left(az+b\right)^{2}\phi(z)\,dz Burada , b gerçek sayılardır, Z ∼ N ( 0 , 1 ) ve ϕ ( ⋅ ) ve Φ ( …

11 mathematical-statistics 

Yanlış pozitif olmamak çok daha önemli bir ikili sınıflandırma sorunu üzerinde çalışıyorum; oldukça yanlış negatif bir sürü ok. Örneğin sklearn'de bir grup sınıflandırıcı kullandım, ancak hiçbirinin hassas hatırlama dengesini açıkça ayarlama yeteneğine sahip olmadığını düşünüyorum (oldukça iyi sonuçlar üretiyorlar, ancak ayarlanabilir değiller). Hangi sınıflandırıcılar ayarlanabilir hassasiyet / geri çağırma özelliğine …

11 classification  precision-recall 

Bu cümleyi anlamakta güçlük çekiyorum: Önerilen ilk mimari, doğrusal olmayan gizli katmanın kaldırıldığı ve projeksiyon katmanının tüm kelimeler (yalnızca projeksiyon matrisi için değil) paylaşıldığı ileri beslemeli NNLM'ye benzer; böylece, tüm kelimeler aynı pozisyona yansıtılır (vektörlerinin ortalaması alınır). Projeksiyon katmanı vs projeksiyon matrisi nedir? Tüm kelimelerin aynı konuma yansıtıldığını söylemek ne …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Eski ve yeni öğeleri tespit etmeyi içeren bir bellek görevi için d üssü hesaplamak istiyorum . Sahip olduğum problem, bazı deneklerin isabet oranının 1 ve / veya yanlış alarm oranının 0 olması, bu da olasılıkları sırasıyla% 100 ve% 0 yapar. Formülü d asal olan d' = z(H) - z(F), burada …

11 roc  excel  signal-detection  d-prime 

Zaman serileri ile çalışırken bazen spektral analiz kullanarak mevsimselliği tespit edip kaldırıyoruz. Zaman serilerinde gerçek bir başlangıç ​​yapıyorum ve neden mevsimselliği orijinal zaman serisinden çıkarmak isteyeceğime kafam karıştı? Mevsimselliği kaldırmak orijinal verileri bozmuyor mu? Mevsimselliği kaldırarak bir zaman serisi oluşturarak ne gibi avantajlar elde ediyoruz?

11 time-series  seasonality 

Çalışmamda Fisher'ın kesin testinin çeşitli kullanımlarını gördüm ve verilerime ne kadar iyi uyduğunu merak ediyordum. Birkaç kaynağa baktığımda istatistiğin nasıl hesaplanacağını anladım, ancak varsayılan sıfır hipotezinin açık ve resmi bir açıklamasını hiç görmedim. Birisi beni varsayılan dağıtımın resmi bir açıklamasını açıklayabilir ya da yönlendirebilir mi? Acil durum tablosundaki değerler açısından …

11 hypothesis-testing  chi-squared  multinomial  contingency-tables  fishers-exact 

Sınıflandırma görevleri ve özellikle Adaboost için algoritmaları artırma üzerine biraz okudum. Adaboost'un amacının birkaç "zayıf öğrenici" almak olduğunu ve eğitim verilerinin bir dizi yinelemesi yoluyla, sınıflandırıcıların, model (ler) in tekrar tekrar hata yaptığı sınıfları tahmin etmeyi öğrenmeye ittiğini anlıyorum. Ancak, yaptığım okumaların çoğunun neden zayıf sınıflandırıcı olarak karar ağaçlarını kullandığını …

11 machine-learning  classification  algorithms  boosting 

Bence bağımsız rasgele değişkenlerin toplamının olasılık dağılımını bulmak istiyorsanız biliyorum Yani , biz olasılık dağılımları onu hesaplayabilir ve söyleyerek,X+YX+YX + YXXXYYY fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x = -\infty}^{\infty} f_X(x) f_Y(a - x)~dx Biz …

11 probability 

Makine öğrenimi üzerine bir ders kitabı okuyorum (Data Mining by Witten ve diğerleri, 2011) ve bu pasajla karşılaştım: ... Ayrıca, farklı dağıtımlar kullanılabilir. Normal dağılım genellikle sayısal özellikler için iyi bir seçim olsa da, önceden belirlenmiş bir minimum değere sahip ancak üst sınırı olmayan özellikler için uygun değildir; bu durumda …

11 machine-learning  distributions 

Gelen bu belgede , bu kaygılar "set tohum" komutu Stata insanlar sözde rasgele sayılar üreten tohumların ayarına ilişkin konuları tartışmak. Dikkate değer bir “yapma” , seri olarak doğal sayı dizisini tohum olarak kullanmaz, çünkü bu bir desene sahiptir ve sahte rasgele tehlikeye atar ”. Sadece bir çeyrek şaka gibi kayda …

11 random-generation 

nin ortak dağılımı, ortak dağılımı ile işlemi XtXtX_tkesinlikle sabittir. tüm , tüm ve tüm . x t 1 + K , X, T 2 + k , . . . , X, T m + k m k t 1 , t 2 , . . . , t mXt1,Xt2,...,XtmXt1,Xt2,...,XtmX_{t_1},X_{t_2},...,X_{t_m}Xt1+k,Xt2+k,...,Xtm+kXt1+k,Xt2+k,...,Xtm+kX_{t_1+k},X_{t_2+k},...,X_{t_m+k}mmmkkkt1,t2,...,tmt1,t2,...,tmt_1,t_2,...,t_m …

11 time-series  autocorrelation  stochastic-processes  stationarity 

Yönetilen fon getirilerini tahmin etmek için R'de aşağıdaki çoklu doğrusal regresyonu gerçekleştiriyorum. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Burada sadece GRI ve MBA ikili / dikotom tahmincileridir; kalan öngörücüler süreklidir. İkili değişkenler için artık grafikler oluşturmak için bu kodu kullanıyorum. plot(rawdata$GRI, reg$residuals) abline(lm(reg$residuals~rawdata$GRI, data=rawdata), col="red") # regression line (y~x) plot(rawdata$MBA, reg$residuals) abline(lm(reg$residuals~rawdata$MBA, …

11 r  multiple-regression  categorical-data  heteroscedasticity  residuals