İstatistikler ve Büyük Veri

Bunun çok basit bir soru olduğunun farkındayım ama aradıktan sonra aradığım cevabı bulamıyorum. Ben betaların sırt tahminlerini hesaplamak için (sırt regresyonu) çalıştırmak değişkenleri standartlaştırmak gerekir bir sorun var. Daha sonra bunları orijinal değişkenler ölçeğine geri dönüştürmem gerekiyor. Ama bunu nasıl yaparım? İki değişkenli dava için bir formül buldum. β∗=β^SxSy.β∗=β^SxSy. \beta^* …

15 regression  standard-error  standardization  predictor  centering 

Diyelim ki A, B, C ve D değerlerini alabilen kategorik bir değişkenim var. 10000 rasgele veri noktası üretebilir ve her birinin frekansını nasıl kontrol edebilirim? Örneğin: A =% 10 B =% 20 C =% 65 D =% 5 Bunu nasıl yapabileceğime dair bir fikrin var mı?

15 random-variable 

Etki işlevlerinin nasıl çalıştığını anlamaya çalışıyorum. Birisi basit bir OLS regresyonu bağlamında açıklayabilir mi? yi=α+β⋅xi+εiyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} Burada için etki fonksiyonunu istiyorum .ββ\beta

15 regression  least-squares 

Carl Doersch'in Variational Autoencoders üzerine olan bu eğitimini inceliyorum . İkinci sayfada şunları belirtir: Bu tür en popüler çerçevelerden biri, bu öğreticinin konusu olan Variational Autoencoder [1, 3]. Bu modelin varsayımları zayıftır ve backpropagation yoluyla eğitim hızlıdır. VAE'ler bir tahmin yapar, ancak yüksek kapasiteli modeller göz önüne alındığında bu yaklaşımın …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Farklı dağılımı takip eden iki veri setim (kaynak ve hedef veriler) var. Kaynak ve hedef veriler arasındaki marjinal dağılımı hesaplamak için MMD - bu parametrik olmayan bir mesafe dağılımı - kullanıyorum. kaynak veri, Xs hedef veriler, Xt adaptasyon Matrix A * Yansıtılan veriler, Zs = A '* Xs ve Zt …

15 machine-learning  distributions  distance  feature-construction  domain-adaptation 

Dolar miktarı olan bir sürü ham veri değerim var ve bu verilerin bir yüzdelik değeri için bir güven aralığı bulmak istiyorum. Böyle bir güven aralığı için bir formül var mı?

15 confidence-interval  quantiles  tolerance-interval 

Yönlendirilmiş asiklik grafikler (DAG'ler) istatistiksel modellerde nitel nedensel varsayımların etkili görsel temsilleridir, ancak bunlar düzenli bir değişken değişken denklemi (veya diğer denklemler) sunmak için kullanılabilir mi? Öyleyse nasıl? Değilse, neden?

15 causality  instrumental-variables  dag 

Bu makalenin amacı, düzenli log olasılığını en üst düzeye çıkararak bazı parametreleri optimize etmekti. Sonra Kısmi türevleri hesaplarlar. Ve sonra yazarlar, denklemi, birçok değişkenin pürüzsüz işlevlerini optimize etmek için standart bir yarı Newton prosedürü olan L-BFGS'yi kullanarak optimize ettiklerini belirtiyorlar (daha fazla ayrıntı yok). O nasıl çalışır ?

15 algorithms  optimization 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 4 yıl önce kapalı . Http://data.barrycarter.info/ adresinde birçok istasyon için saatlik ve günlük sıcaklık raporlarım var İnsanları indirmeye teşvik ediyorum, ancak 6.6G'de çok fazla bant …

14 dataset 

Kursum için yapılan egzersizlerden birinde Kaggle tıbbi veri seti kullanıyoruz . Alıştırma şöyle diyor: münferit ücretlerin dağılımını modellemek istiyoruz ve ayrıca bu dağıtım hakkındaki belirsizliğimizi yakalamak istiyoruz, böylece görebildiğimiz değer aralığını daha iyi yakalayabiliyoruz. Verileri yükleme ve ilk görünümü gerçekleştirme: Yukarıdakilerden, burada oyunda bir tür üstel benzeri dağılımın olduğundan şüphelenebiliriz. …

14 gamma-distribution 

Yıl boyunca web sitesi kullanım sürelerinin araştırılmasını içeren bir veri analizi projesi yürütüyorum. Yapmak istediğim şey, kullanım şekillerinin ne kadar "tutarlı" olduğunu, örneğin haftada 1 saat boyunca kullanmayı içeren bir desene ne kadar yakın olduklarını veya her seferinde 10 dakika kullanmayı içeren bir deseni karşılaştırmaktır. haftada bir kez. Hesaplanabilecek birkaç …

14 distributions  distance  frequency  comparison 

Genellikle, ayrı değişkenler üzerinde bir olasılık dağılımı, bir olasılık kütle fonksiyonu (PMF) kullanılarak tarif edilir: Sürekli rasgele değişkenlerle çalışırken, olasılık kütle fonksiyonu yerine olasılık yoğunluk fonksiyonu (PDF) kullanarak olasılık dağılımlarını tanımlarız. - Goodfellow, Bengio ve Courville tarafından Derin Öğrenme Ancak Wolfram Mathworld , ayrık değişkenler üzerindeki olasılık dağılımını tanımlamak için …

14 probability  mathematical-statistics  terminology  pdf 

Herhangi bir veri kümesinde üst ve alt uçlardan hesaplanan istatistiksel ortalamaya ne denir? Örneğin, bir kümeniz varsa: { -2, 0 , 8, 9, 1, 50, -2, 6} Bu setin üst uç 50ve alt uçtur -2. Yani, aşırı uçların ortalaması(-2 + 50 / 2) = 48/2 = 24 Bu tür istatistiksel …

14 mean  terminology  average  range 

Genellikle% 95 kapsama alanına sahip bir güven aralığının, posterior yoğunluğun% 95'ini içeren güvenilir bir aralığa çok benzediğidir. Bu, önceki durumda üniform veya ikinci durumda üniformaya yakın olduğunda olur. Bu nedenle, güvenilir bir aralığa yaklaşmak için bir güven aralığı sıklıkla kullanılabilir veya tersi de geçerlidir. Önemli olarak, güvenilir bir aralık olarak …

14 bayesian  confidence-interval  frequentist  credible-interval 

Verilerinizi nasıl ayarlayacağımı okuduğumda, sık sık karşılaştığım bir şey, bazı sürekli verileri kategorik verilere dönüştürmenin iyi bir fikir olmadığıdır, çünkü eşikler kötü bir şekilde belirlenirse çok iyi bir sonuç çıkarabilirsiniz. Bununla birlikte, şu anda bazı verilerim var (prostat kanseri hastaları için PSA değerleri), burada ortak fikir birliği 4'ün altındaysanız muhtemelen …

14 categorical-data  continuous-data