İstatistikler ve Büyük Veri

Diyelim ki 10, 20 ve 25 gibi bazı veri kümelerinin minimum, ortalama ve maksimum değerlerine sahip olduğumu varsayalım: bu verilerden bir dağıtım oluşturmak ve Nüfusun yüzde kaçının ortalamanın üstünde veya altında olduğunu bilmek Düzenle: Glen'in önerisine göre, 200 örnek büyüklüğüne sahip olduğumuzu varsayalım.

10 distributions  standard-deviation  mean  maximum  minimum 

Programımda, her biri büyük bir veri kümesi örneklemek için kullanılan kendi RNG ile N ayrı iş parçacıkları çalıştırmak gerekir. Sonuçların çoğaltılması için tüm bu süreci tek bir değerle tohumlayabilmem gerekiyor. Her indeks için tohumu basitçe art arda artırmak yeterli midir? Şu anda Mersenne Twister sahte rasgele sayı üreteci kullanan numpy's …

10 python  monte-carlo  random-generation  numpy 

Orantılı tehlike varsayımını Cox PH modelleri bağlamında test ettiğimin farkındayım, ancak parametrik modellerle ilgili bir şeyle karşılaşmadım mı? Belirli parametrik modellerin PH varsayımını test etmenin uygulanabilir bir yolu var mı? Parametrik modellerin yarı parametrik Cox modellerinden sadece biraz farklı olduğu düşünülmelidir? Örneğin, bir Gompertz mortalite eğrisine uymak istersem (aşağıdaki gibi), …

10 survival  assumptions  proportional-hazards 

Sıklıkçıların 'olasılık' altında anladıklarının resmi (matematiksel) bir tanımı var mı? Bunun '' uzun vadede '' göreceli gerçekleşme sıklığı olduğunu okudum, ama bunu tanımlamanın resmi bir yolu var mı? Bu tanımı bulabileceğim bilinen referanslar var mı? DÜZENLE: Sıklıkla (@whuber'ın yorumuna ve bu cevabın altındaki @Kodiologist ve @Graeme Walsh'a yaptığım yorumlara bakın) …

10 probability  frequentist  definition 

Bunun muhtemelen başka bir yerde tartışıldığını biliyorum, ama açık bir cevap bulamadım. Formülü kullanmaya çalışıyorumR2=1−SSR/SSTR2=1−SSR/SSTR^2 = 1 - SSR/SST örnek dışı hesaplamak R2R2R^2 doğrusal bir regresyon modelinin SSRSSRSSR kare artıkların toplamıdır ve SSTSSTSSTtoplam kareler toplamıdır. Eğitim seti için, SST=Σ(y−y¯train)2SST=Σ(y−y¯train)2 SST = \Sigma (y - \bar{y}_{train})^2 Test seti ne olacak? Kullanmaya …

10 regression  machine-learning  r-squared  out-of-sample 

Diyelim ki derinlemesine bir öğrenme model mimarisi ve seçilen bir mini-parti boyutu var. Bu modeli eğitmek için beklenen bellek gereksinimlerini nasıl elde edebilirim? Örnek olarak, boyut 1000 girişi, 100 boyut 4 tam bağlantılı gizli katmanı ve boyut 10 ek çıkış katmanı olan (tekrarlayan olmayan) bir modeli düşünün. Mini seri boyutu …

10 deep-learning 

Karşılaştığım sorun zaman serisi değerlerini tahmin etmektir. Bir seferde bir seferlik serilere bakıyorum ve örneğin giriş verilerinin% 15'ine dayanarak gelecekteki değerlerini tahmin etmek istiyorum. Şimdiye kadar iki modele rastladım: LSTM (uzun kısa süreli bellek; tekrarlayan sinir ağları sınıfı) ARİMA İkisini de denedim ve onlarla ilgili bazı makaleler okudum. Şimdi ikisini …

10 time-series  forecasting  references  arima  lstm 

Tamam - orijinal mesajım yanıt alamadı; soruyu farklı bir şekilde ifade edeyim. Tahmin anlayışımı bir karar teorik perspektifinden açıklayarak başlayacağım. Resmi bir eğitimim yok ve düşüncem bir şekilde kusurlu olursa beni şaşırtmaz. Bazı kayıp fonksiyonlarımız olduğunu varsayalım L ( θ ,θ^( x ) )L(θ,θ^(x))L(\theta,\hat\theta(x)). Beklenen kayıp (sıklık) riskidir: R ( …

10 bias  loss-functions  frequentist  decision-theory  risk 

Gördüğüm her şeyden daha iyi olduğunu düşündüğüm bazı fikirlerimi test etmek istiyorum. Yanlış olabilirdim ama fikirlerimi test etmek ve şüphelerimi daha kesin gözlemlerle yok etmek istiyorum. Yapmayı düşündüğüm şey şudur: Bir dağılım kümesini analitik olarak tanımlar. Bunlardan bazıları Gauss, üniforma veya Tophat gibi kolay olanlar. Ancak bunların bazıları Simpsons dağılımı …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Şu anda bir zaman serisi verisi (aylık veri) tahmini yapmak için bir proje üzerinde çalışıyorum. Tahmin yapmak için R kullanıyorum. 1 bağımlı değişken (y) ve 3 bağımsız değişkenim var (x1, x2, x3). Y değişkeninin 73 gözlemi vardır, diğer 3 değişken de öyle (alos 73). Ocak 2009'dan Ocak 2015'e kadar. Korelasyonları …

10 time-series  multiple-regression  forecasting  lags 

Maliyet fonksiyonunu farklılaştırabildiğimizde ve her parametreye göre kısmi farklılaşma yoluyla elde edilen denklemleri çözerek ve maliyet fonksiyonunun minimum nerede olduğunu bulabildiğimizde parametreleri bulabiliriz. Ayrıca, türevlerin sıfır olduğu birden fazla yer bulmak mümkün, böylelikle tüm bu yerleri kontrol edebilir ve küresel minima bulabiliriz. bunun yerine gradyan inişi neden yapılır?

10 machine-learning  computational-statistics 

Temel olarak benzerlik ölçülerini yordayıcı olarak kullanılan ağırlıklara dönüştürmek istiyorum. Benzerlikler [0,1] üzerinde olacak ve ağırlıkları da [0,1] ile sınırlayacağım. Degrade iniş kullanarak optimize edeceğim bu eşlemeyi yapan paramterik bir işlev istiyorum. Gereksinimler, 0'ın 0'a, 1'in 1'e eşleşmesi ve kesinlikle artmasıdır. Basit bir türev de takdir edilmektedir. Şimdiden teşekkürler Düzenleme: …

10 optimization  curve-fitting 

Ters Değirmen oranı (lambda) katsayısını iki aşamalı Heckman modelinde nasıl yorumluyorsunuz ?

10 econometrics  heckman  selection-bias 

"Öğrenci kalıntıları" ve "standart kalıntılar" regresyon modellerinde aynı mıdır? R'de doğrusal bir regresyon modeli oluşturdum ve Studentized artıklarının v / s uygun değerlerinin grafiğini çizmek istedim, ancak R'de bunu yapmanın otomatik bir yolunu bulamadım. Bir modelim olduğunu varsayalım library(MASS) lm.fit <- lm(Boston$medv~(Boston$lstat)) daha sonra kullanma plot(lm.fit), Öğrenci Değerli artıkların karşılık …

10 r  regression  residuals  terminology 

Birisi bana izotropik kovaryans matrisinin ne olduğunu basit bir şekilde açıklayabilir mi? Çevrimiçi olarak hiçbir şey bulamıyorum.

10 terminology  covariance-matrix  definition