İstatistikler ve Büyük Veri

üzerine eşit olarak dağıtıldığını varsayın . Let ve . ve arasındaki korelasyonun sıfır olduğunu gösterin .[ 0 , 2 π ] Y = sin X Z = cos X Y ZXXX[0,2π][0,2π][0, 2\pi]Y=sinXY=sin⁡XY = \sin XZ=cosXZ=cos⁡XZ = \cos XYYYZZZ Sinüs ve kosinüsün standart sapmasını ve bunların kovaryansını bilmem gerekecek gibi görünüyor. …

11 correlation  variance  random-variable  expected-value 

Pekala, birkaç şeye biraz puslu, herhangi bir yardım çok takdir edilecektir. Anladığım kadarıyla, doğrusal regresyon modelinin koşullu bir beklenti ile tahmin edildiği E( Y|X) = b + Xb + eE(Y|X)=b+Xb+eE(Y|X)=b+Xb+e Biz de farz mı ve bilinmeyen olasılık dağılımıyla rasgele değişkenlerdir? sadece artıkların ve tahmini beta katsayılarının rasgele değişkenler olduğu anlayışımdı. …

11 regression 

İki ve ayrı dağılımı için , çapraz entropi şu şekilde tanımlanır:qpppqqq 'H( p , q) = - ∑xp ( x ) günlüğüq( x ) .'H(p,q)=-Σxp(x)günlük⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Bunun neden iki olasılık dağılımı arasındaki mesafenin sezgisel bir ölçüsü olacağını merak ediyorum? Bunu görmek entropisidir , tedbirleri "sürpriz" . , kısmen yerini …

11 probability  distributions  cross-entropy 

Geri yayılımı kullanarak sınıflandırma için derin bir sinir ağını eğitmeye çalışıyorum. Özellikle, görüntü sınıflandırması için, Tensor Flow kütüphanesini kullanarak evrişimli bir sinir ağı kullanıyorum. Eğitim sırasında garip bir davranış yaşıyorum ve bunun tipik olup olmadığını ya da yanlış bir şey yapıp yapmadığımı merak ediyorum. Böylece, evrişimli sinir ağımın 8 katmanı …

11 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

Tekrarlayan Sinir Ağının (RNN) arkasındaki fikir benim için açık. Bunu şu şekilde anlıyorum: Bir dizi gözlemimiz var ( ) (veya başka bir deyişle, çok değişkenli zaman serileri). Her bir tek gözlem bir olan boyutlu sayısal vektör. RNN-modeli içinde, bir sonraki gözlemin bir önceki gözlemin bir işlevi olduğunu ve gizli durumların …

11 time-series  neural-networks  predictive-models  intuition  rnn 

En küçük kareler (OLS) tahmin edicileri üzerinde çalışmaya başladım ve hala en başındayım. Ekonometri hakkında bazı kitaplar aldım ama çevrimiçi hiçbir şey bulamadım. Bu yüzden, en az kareler tahmin edicileri yorucu bir şekilde açıklayan bir web sitesi, ana sayfa veya diğer çevrimiçi kaynaklar olup olmadığını merak ediyordum. Genel bir giriş …

11 references  least-squares 

Tam açıklama: Ben bir istatistikçi değilim, ne de bir iddiada bulunuyorum. Ben düşük bir BT yöneticisiyim. Lütfen benimle nazik oynayın. :) Kuruluşumuz için disk depolama kullanımını toplamak ve tahmin etmekten sorumluyum. Depolama kullanımımızı aylık olarak toplarız ve tahminler için basit bir yuvarlanan on iki aylık doğrusal regresyon kullanırız (başka bir …

11 regression  forecasting  adjustment 

Son zamanlarda, bir grup öğrenme biçimi olarak model istifleme ile ilgilenmeye başladım. Özellikle, regresyon sorunları için bazı oyuncak veri setleri ile biraz deney yaptım. Temel olarak bireysel "seviye 0" regresörleri uyguladım, her regresörün çıkış tahminlerini "meta-regresörün" girişi olarak almak için yeni bir özellik olarak sakladım ve bu meta-regresörü bu yeni …

11 machine-learning  ensemble  stacking 

Eşleştirilmiş verileri analiz etmek için bu iki testten birini almaya çalışıyorum. Genel olarak hangisini seçeceğine dair genel kurallar bilen var mı?

11 hypothesis-testing  nonparametric  paired-data  wilcoxon-signed-rank  sign-test 

Klasik mamogram örneğine uygulanan Bayes Teoreminin sonucunu kafamı sarmaya çalışıyorum, mamogramın bükülmesi mükemmel. Yani, Kanser insidansı:.01.01.01 Hastanın kanseri olduğu göz önüne alındığında, pozitif bir mamogram olasılığı:111 Hastanın kanseri yoksa, pozitif bir mamogram olasılığı:.01.01.01 Bayes Tarafından: P (kanser | mammogram +) =1 ⋅ .01( 1 ⋅ .01 ) + ( .091 …

11 bayesian  bayes  binning  diagnosis 

Çeşitli kaynaklarda (örneğin buraya bakın ), medyan için güven aralığı için aşağıdaki formül verilir (özellikle kutu ve bıyık grafiklerinde çentik çizmek amacıyla): % 95 C benm e d i a n= M e d i a n ± 1.57 × IQ RN---√95% Cbenmedbenbirn=Medbenbirn±1.57xbenSR,N- 95\%\ CI_{\rm median} = {\rm Median} \pm …

11 confidence-interval  median  boxplot  interquartile 

Asıl sorularım son iki paragrafta, ancak motive etmek için: Bilinen bir varyansı olan bir Normal dağılımı izleyen rastgele bir değişkenin ortalamasını tahmin etmeye çalışıyorsam, ortalamadan önce bir üniforma yerleştirmenin, olasılık fonksiyonu ile orantılı bir posterior dağılımla sonuçlandığını okudum. Bu durumlarda, Bayes güvenilir aralığı sık sık güven aralığıyla mükemmel şekilde örtüşmektedir …

11 bayesian  maximum-likelihood  posterior  frequentist 

Burada Pearson korelasyonlarının matrisleri hakkında konuşuyorum. Sıklıkla tüm korelasyon matrislerinin pozitif semidefinit olması gerektiğini söylediğini duydum. Anladığım kadarıyla pozitif kesin matrislerin özdeğerleri olmalıdır , pozitif semidefinit matrislerin özdeğerleri olmalıdır . Bu, sorumun "Korelasyon matrislerinin öz değeri olması mümkün mü ?" Şeklinde yeniden yazılabileceğini düşündürüyor.≥ 0 = 0>0>0> 0≥0≥0\ge 0=0=0= 0 …

11 covariance-matrix  eigenvalues  correlation-matrix 

Kelime düğünleri oluşturmanın bir yolu aşağıdaki gibidir ( ayna ): Bir şirket alın, örneğin "Uçmayı seviyorum. NLP'yi seviyorum. Derin öğrenmeyi seviyorum." Bundan cooccurrence matrisi kelimesini oluşturun: SVD gerçekleştirin ve U'nun ilk sütunlarını koruyun.XXXkkk alt her satırı , satırın temsil ettiği kelimenin gömme sözcüğü olacaktır (satır 1 = "I", satır 2 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Gerçekten yüksek gibi görünüyor, ama bu bana mantıksız. Birisi açıklayabilir mi lütfen? Bu konuda çok kafam karıştı ve ayrıntılı, anlayışlı bir açıklamayı takdir ediyorum. Şimdiden çok teşekkürler!

11 autocorrelation  random-walk