İstatistikler ve Büyük Veri

Olasılık dağılımları hakkındaki sezgisel anlayışımı olasılık dağılımları üzerindeki neredeyse tüm topolojilerin sahip olduğu garip özelliklerle uzlaştırmakla biraz uğraşıyorum. Örneğin, rastgele bir değişken karışımı düşünün : 0 merkezli, 1 varyanslı ve olasılık olan bir Gauss seçin , sonuca ekleyin . Bu tür rastgele değişkenlerin bir sekansı, varyans 1 ile 0 merkezli …

9 mathematical-statistics  convergence  central-limit-theorem  topologies 

Aşağıdaki 1 boyutlu diziyi varsayalım: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... A, B, C, ..Buradaki mektuplar 'sıradan' olayları temsil eder. #, $, %, ...Buradaki semboller 'özel' olayları temsil eder Tüm olaylar arasındaki zamansal aralık eşit değildir (saniyeler, günler arası) geçmişte …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Çok sayıda derin öğrenme belgesini okuduktan sonra, bir tür kaba duygu, normalden daha iyi performans elde etmek için ağın eğitilmesinde çok sayıda hile olması. Bir endüstri uygulaması perspektifinden bakıldığında, google veya facebook gibi büyük teknoloji şirketlerindeki seçkin araştırma grupları dışında bu tür numaralar geliştirmek çok zordur. O zaman pratikte derin …

9 machine-learning  deep-learning  deep-belief-networks 

Rastgele değişkenler varsayalım X1,...,XnX1,...,XnX_1, ... , X_nve bağımsızdır ve dağıtılır. Bu ABS , bir sahiptir dağılımı.Y1,...,YnY1,...,YnY_1, ..., Y_nU(0,a)U(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) Ben ayarı bu sorunu başladım Sonra olarak dağıtılacak ve olarak dağıtılacak Yoğunluklar olarak kolayca bulunabilir ve{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\}max(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)}(za)2n(za)2n(\frac{z}{a})^{2n}min(Yn,Xn)=Z(1)min(Yn,Xn)=Z(1)\min(Y_n,X_n)= Z_{(1)}1−(1−za)2n1−(1−za)2n1 - (1 - \frac{z}{a})^{2n}fZ1( z) = ( 2 n ) ( …

9 self-study  data-transformation  order-statistics 

Bu ev ödevi değil. Let rasgele değişken. ve ise , mı?XXXE[X]=k∈RE[X]=k∈R\mathbb{E}[X] = k \in \mathbb{R}Var[X]=0Var[X]=0\text{Var}[X] = 0Pr(X=k)=1Pr(X=k)=1\Pr\left(X = k\right) = 1 Sezgisel olarak, bu çok açık görünüyor, ama bunu nasıl kanıtlayacağımdan emin değilim. Varsayımlardan, takip ettiği bir gerçeği biliyorum . So Bu beni hiçbir yere götürmüyor. Deneyebilirim Şimdi beri , …

9 probability 

I istiyorum verimli örnekleri çizmek dan kısıtlama tabi .x∈Rdx∈Rdx \in \mathbb{R}^dN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)||x||2=1||x||2=1||x||_2 = 1

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

Veri görselleştirme konusunda tavsiyelerde bulunan çok sayıda tanınmış kaynak vardır. (Örn. Tufte, Stephen Few ve diğerleri , Nathan Yau .) Ancak, aşağıdaki gibi soruların cevapları için hangi alanlara başvurabiliriz : Pasta grafik eleştirisi pratikte alakalı mı? İnsanlar doğrusal ölçek uzunluğunu yorumlamada ark uzunluğundan daha mı iyi? Diyelim ki bir dizi …

9 data-visualization  interpretation  terminology  presentation 

I regresyon genel kurulumu, sürekli bir fonksiyon kabul , bir ailesinden seçilen bir verilen verilere uygun ( küp gibi herhangi bir boşluk veya aslında makul bir topolojik boşluk olabilir) bazı doğal kriterlere göre.hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n{hθ}θ{hθ}θ\{h_\theta\}_\theta(xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, kXXX[0,1]m[0,1]m[0,1]^m Bir kontur ilgilendiği regresyon orada uygulamalardır bir bir noktada için …

9 regression  machine-learning  multiple-regression 

Arka plan: Ağır kuyruklu bir dağılımla modellemek istediğim bir örnek var. Gözlemlerin yayılması nispeten büyük olacak şekilde bazı aşırı değerlerim var. Benim fikrim bunu genel bir Pareto dağılımı ile modellemekti ve ben de yaptım. Şimdi, ampirik verilerimin 0.975 kantili (yaklaşık 100 veri noktası) verilerime taktığım Genelleştirilmiş Pareto dağılımının 0.975 kantilinden …

9 confidence-interval  quantiles  asymptotics  order-statistics 

Agronomi ve ekoloji alanında yüksek lisans öğrencileri için deneysel tasarım dersi vermem istendi. Hiç böyle bir kurs almadım ve kursun "Tek yönlü ANOVA'nın ötesinde" olarak adlandırılabileceğini ve tarımsal alan deneyleri istatistikleri hakkında ileri bir lisansüstü kursunda öğrendiğim materyalleri (ör. RCBD, Latin Kareler, Kontrastlar, tekrarlanan ölçümler ve ortak değişkenler). Belki de …

9 references  experiment-design  teaching 

Bu aslında Gujarati'nin Temel Ekonometri 4. baskısındaki (Q3.11) problemlerden biridir ve korelasyon katsayısının başlangıç ​​ve ölçek değişikliği açısından değişmez olduğunu, yani burada , , , isteğe bağlı sabitlerdir.corr(aX+b,cY+d)=corr(X,Y)corr(aX+b,cY+d)=corr(X,Y)\text{corr}(aX+b, cY+d) = \text{corr}(X,Y)aaabbbcccddd Ama asıl sorum şudur: ve eşleştirilmiş gözlemler olsun ve ve pozitif korelasyonlu olduğunu varsayalım , yani . Bunu biliyorum …

9 self-study  correlation  linear-algebra  mathematical-statistics 

Lasso'yu vanilya alt gradyan yöntemleri ile çözmeyi düşünüyordum. Ama Proksimal degrade iniş kullanmayı öneren insanları okudum. Birisi neden Kement için vanilya alt gradyan yöntemleri yerine proksimal GD'nin kullanıldığını vurgulayabilir mi?

9 machine-learning  optimization  lasso  gradient-descent 

Doğada normal dağılımların önemi hakkında çok şey söylenmiştir. Boy veya kilo gibi birçok ölçüm yaklaşık olarak normal dağılır. Ama hiçbiri tam olarak normal değil, anladığım kadarıyla. Normal dağılımın maksimum entropi dağılımlarından biri olduğu düşünüldüğünde , doğanın “sevmesi” gerektiği düşünülmektedir. Ama bazı düşüncelerin ardından "gerçekten" normal rastgele değişkenlere örnek veremedim. Sorum …

9 normal-distribution  normality-assumption 

Denetimsiz algoritmalar (kümeleme) kullanarak grup birlikte farklı veri kümeleri yapmaya çalışıyorum. Sorun, birçok özelliğim (~ 500) ve az miktarda vaka (200-300) olmasıdır. Şimdiye kadar sadece verileri eğitim setleri olarak etiketlediğim sınıflandırma problemleri yapıyordum. Orada, özelliklerin önceden seçilmesi için bazı kriterler (yani random.forest.importance veya information.gain) kullandım ve daha sonra ilgili özellikleri …

9 r  clustering  feature-selection  unsupervised-learning 

Let kendi değerlerini alan ayrı bir rasgele değişken . Bu değişkeni yarıya indirmek istiyorum , yani, rastgele bir değişken bulmak için :XXXN-N-\mathbb{N}YYY X= Y+Y*X=Y+Y*X = Y + Y^* burada , bağımsız bir kopyasıdır .Y*Y*Y^*YYY Bu sürece yarı yarıya atıfta bulunuyorum ; bu uydurma bir terminolojidir. Bu operasyon için literatürde uygun …

9 random-variable