İstatistikler ve Büyük Veri

Bazı Python ve Sklearn öğrenmeye çalışıyorum, ancak çalışmalarım için Poisson, Gamma ve özellikle Tweedie ailelerinden hata dağılımlarını kullanan regresyonları çalıştırmam gerekiyor. Onlarla ilgili belgelerde hiçbir şey görmüyorum, ancak R dağıtımının çeşitli kısımlarındalar, bu yüzden herhangi birinin Python için herhangi bir yerde uygulama görüp görmediğini merak ediyordum. Beni Tweedie dağıtımının SGD …

13 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

R'deki doğrusal karışık efekt modellemesini kullanarak bazı verileri analiz ediyorum. Sonuçlarla bir poster yapmayı planlıyorum ve sadece karışık efekt modelleri ile deneyimli herhangi bir kişinin, sonuçları göstermek için hangi grafikleri kullanacağını önerebileceğini merak ediyorum modeli. Kalan arsalar, orijinal değerlere karşı uygun değerlerin arsalarını vb. Düşünüyordum. Bunun verilerime çok bağlı olacağını …

13 r  data-visualization  mixed-model 

Glm formülünde bir faktör değişkeni (örn. M ve F seviyeli cinsiyet) kullanılırsa, kukla değişkenler oluşturulur ve glm modeli özetinde ilişkili katsayılarıyla (örn. Cinsiyet C) bulunabilir. Faktörü bu şekilde bölmek için R'ye güvenmek yerine, faktör bir dizi sayısal 0/1 değişkeni (örneğin, cinsiyetM (M için 1, F için 0), cinsiyetF (F için …

13 r  generalized-linear-model  categorical-data  categorical-encoding 

Farklı örnek boyutlarında ap değerinin göreceli boyutu nasıl değişir? Elindeki durumda mesela olarak daha sonra bir korelasyon ve orijinal p değerine kıyasla ikinci test için p değerinin göreli büyüklüğü ne olacağı 0.20 aynı p değeri, var olduğunda ?p=0.20p=0.20p=0.20n=45n=45n=45n=120n=120n=120n=45n=45n=45

13 p-value  sample-size 

Stokastik degrade iniş yaparken minibatch boyutu seçimini inceleyen literatür var mı? Deneyimlerime göre, genellikle çapraz doğrulama veya değişen başparmak kuralları kullanılarak bulunan ampirik bir seçim gibi görünüyor. Doğrulama hatası azaldıkça minibatch boyutunu yavaşça arttırmak iyi bir fikir mi? Bunun genelleme hatası üzerinde ne gibi etkileri olur? Son derece küçük bir …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Zamana bağlı Cox modelinde temel tehlike işlevini tahmin etmem gerekiyorλ0( t )λ0(t)\lambda_0(t) λ ( t ) = λ0( t ) exp( Z( t )'β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Hayatta Kalma kursu alırken, Breslow tahmincisi bir adım fonksiyonu verdiği için birikimli tehlike fonksiyonunun ( ) doğrudan türevinin iyi bir tahminci olmayacağını hatırlıyorum …

13 r  survival  cox-model 

Değiştirilen örneklemenin, gördüğüm gibi değiştirmeden örneklemeye göre iki avantajı vardır: 1) Sonlu nüfus düzeltmesi hakkında endişelenmenize gerek yoktur. 2) Popülasyondaki öğelerin birden çok kez çizilme olasılığı vardır - o zaman ölçümleri geri dönüştürebilir ve zaman kazanabilirsiniz. Elbette akademik bir POV'dan her iki yöntemi de araştırmak gerekir. Ancak pratik bir POV'dan, …

13 sampling  finite-population 

GPML kullanarak çok boyutlu çıktıda (muhtemelen ilişkili) Gauss Süreci Regresyonu gerçekleştirmenin bir yolu var mı ? In demo komut sadece bir 1D örnek bulabiliriz. Bir benzer soru CV üzerinde çok boyutlu girdinin ele almaktadır durumda. Bir şey bulabileceğimi görmek için kitaplarını inceledim. In 9 bölümde bu kitapta (bölüm 9.1), onlar …

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

"İkinci dereceden durağan sürecinin" Brockwell ve Davis'in Zaman Serisine Giriş ve Tahmininde nasıl tanımlandığını merak ediyordum : Otoregresif hareketli ortalama (ARMA) modellerinin sınıfını içeren doğrusal zaman serisi modelleri, durağan süreçlerin incelenmesi için genel bir çerçeve sağlar. Aslında, her ikinci dereceden durağan süreç ya doğrusal bir süreçtir ya da deterministik bir …

13 time-series 

Makine öğrenimi okuyorum ve açtığım her kitap ki-kare dağılımı, gama fonksiyonu, t-dağılımı, Gauss, vb. Şimdiye kadar açtığım her kitap sadece dağılımların ne olduğunu tanımlar: fonksiyonlar için belirli formüllerin nereden geldiği konusunda sezgi açıklamazlar veya sezgiler vermezler. Örneğin, ki-kare dağılımı neden böyle? T-dağılımı nedir? Dağıtımın ardındaki sezgi nedir? Kanıtları? vb. En …

13 probability  distributions  mathematical-statistics  references 

Benim sorum alfa ve beta arasındaki ilişki ve istatistikteki tanımları ile ilgili. alpha = tip I hata oranı = NULL hipotezinin doğru olduğu dikkate alındığında önem düzeyi Beta = tip II hata oranı Alfa alçaltılırsa (özgüllük alfa = 1- özgüllük olarak artar), beta artar (hassasiyet / güç beta = 1 …

13 statistical-significance  mathematical-statistics 

Bir doğrusal açıklayıcı değişken ile bağımlı değişken ile ikinci dereceden bir ilişkisi olan başka bir açıklayıcı değişken arasına iki yönlü etkileşimler yerleştirmekle ilgiliysem , hem ikinci dereceden bileşenle etkileşimi hem de doğrusal ile etkileşimi dahil etmek zorunda kalırdım bileşen? Örn: Sırayla önceki iş parçacığı üzerinde bina: Eğrilik terimleri ve model …

13 r  regression  model-selection 

İki çekirdek fonksiyonunun noktasal ürününün bir çekirdek fonksiyonu olduğunu nasıl kanıtlayabilirim?

13 machine-learning  kernel-trick 

Zaman serisi tahminini otomatikleştirmem gerekiyor ve bu serilerin özelliklerini (mevsimsellik, trend, gürültü, vb.) Önceden bilmiyorum. Amacım her dizi için mümkün olan en iyi modeli elde etmek değil, oldukça kötü modellerden kaçınmaktır. Diğer bir deyişle, her seferinde küçük hatalar almak sorun değil, arada sırada büyük hatalar almaktır. Bunu farklı tekniklerle hesaplanan …

13 time-series  forecasting  arima  ensemble  exponential-smoothing 

Bayes teoremini şöyle yazabiliriz: p(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta} burada arka, koşullu dağılım ve .p(θ|x)p(θ|x)p(\theta|x)f(X|θ)f(X|θ)f(X|\theta)p(θ)p(θ)p(\theta) veya p(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta} burada arka, olabilirlik fonksiyonudur ve .p(θ|x)p(θ|x)p(\theta|x)L(θ|x)L(θ|x)L(\theta|x)p(θ)p(θ)p(\theta) Sorum şu Bayes analizi neden koşullu dağılım değil olasılık işlevi kullanılarak yapılıyor? Olasılık ve koşullu dağılım arasındaki farkın ne olduğunu kelimelerle söyleyebilir misiniz? Olasılık bir …

13 bayesian  likelihood