İstatistikler ve Büyük Veri

Soru Laplacian Eigenmaps yöntemiyle çok ilgileniyorum. Şu anda tıbbi veri setlerimde boyut küçültme yapmak için kullanıyorum. Ancak, yöntemi kullanarak bir sorunla karşılaştım. Örneğin, bazı verilerim (spektrum sinyalleri) var ve bazı PC'leri (veya IC'leri) almak için PCA (veya ICA) kullanabilirim. Sorun, LE kullanarak orijinal verilerin benzer boyutta küçültülmüş bileşenlerinin nasıl elde …

11 pca  ica 

Diyelim ki "A", "B" sütunlarına sahip bir tablom var "A" nın "B" nin ortaya çıkmasına neden olup olmadığını belirlemek için istatistiksel bir yöntem var mı? Gerçekten kimse Pearson r kullanamaz, çünkü: sadece değerler arasındaki korelasyonu test eder korelasyon nedensellik değildir Pearson r sadece doğrusal ilişkileri ilişkilendirebilir Burada başka hangi seçeneklerim …

11 correlation  causality 

Zaman çizelgesi olarak kullanılacak otomatik korelasyonlu rasgele değerler yaratmaya çalışıyoruz. Bahsettiğimiz mevcut verimiz yok ve sadece vektörü sıfırdan oluşturmak istiyoruz. Bir yandan elbette dağıtım ve SD'si ile rastgele bir sürece ihtiyacımız var. Öte yandan, rasgele süreci etkileyen otokorelasyon tarif edilmelidir. Vektörün değerleri, birkaç zaman gecikmesi boyunca azalan mukavemet ile otomatik …

11 r  time-series  random-variable  autocorrelation  lags 

Aşağıdaki veri kümesine sahip olduğumuzu varsayalım: Men Women Dieting 10 30 Non-dieting 5 60 Fisher kesin testini R'de yaparsam alternative = greater(veya daha az) ne anlama gelir ? Örneğin: mat = matrix(c(10,5,30,60), 2,2) fisher.test(mat, alternative="greater") Anladım p-value = 0.01588ve odds ratio = 3.943534. Ayrıca, durum tablosunun satırlarını şu şekilde çevirdiğimde: …

11 r  statistical-significance  contingency-tables  fishers-exact 

Hiyerarşik bir yapıya sahip yüksek boyutlu gruplanmış verilerde (50 sayısal giriş değişkeni) rastgele orman kullanıyorum. Veriler, 70 farklı nesnenin 30 pozisyonunda 6 replikasyon ile toplanmış ve sonuçta 12600 veri noktası elde edilmiştir ve bunlar bağımsız değildir. Oob hatası, eğitim sırasında bir nesneden veri bırakırken ve sonra dışarıda bırakılan nesnenin sonucunu …

11 regression  random-forest 

Üstel ve geometrik dağılım arasındaki farkı gerçekten anlamıyorum.

11 distributions 

Zaman içinde ortalama ölüm yaşını gösteren iki veri serim var. Her iki seri de zamanla artan ölüm yaşı gösterir, ancak biri diğerinden çok daha düşüktür. Alt numunenin ölüm yaşındaki artışın üst numuneden önemli ölçüde farklı olup olmadığını belirlemek istiyorum. Yıllara göre (1972'den 2009'a kadar) üç ondalık basamağa yuvarlanmış olarak sıralanan …

11 time-series  correlation  stata 

Her zamanki varsayımları (bağımsız, normal, değerlerinden bağımsız) karşılayan hatalar ile ikinci dereceden regresyon modelim olduğunu varsayın . Let en küçük kareler tahmini olacaktır.Y=β0+β1X+β2X2+ϵY=β0+β1X+β2X2+ϵ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon ϵϵ\epsilonXXXb0,b1,b2b0,b1,b2b_0, b_1, b_2 İki yeni var değerlerini ve ve ben için bir güven aralığı almakla ilgilenen …

11 regression  confidence-interval 

Şimdiye kadar çoğunlukla kesitsel verilerle çalıştıktan ve son zamanlarda tarama, giriş zaman serileri literatüründe tökezleyerek tarama yaptıktan sonra, zaman serisi analizinde açıklayıcı değişkenlerin hangi rolü oynadığını merak ediyorum. Eğilimin giderilmesi yerine bir eğilimi açıklamak istiyorum . Giriş olarak okuduğum şeylerin çoğu, serinin bazı stokastik süreçlerden kaynaklandığını varsayar. AR (p) ve …

11 r  time-series  multivariate-analysis 

10 yılı aşkın bir süredir istatistik okumadım (ve sonra sadece temel bir kurs), bu yüzden belki de sorumu anlamak biraz zor. Her neyse, yapmak istediğim bir serideki veri noktalarının sayısını azaltmak. X ekseni, ölçümün başlamasından bu yana geçen milisaniye sayısıdır ve y ekseni bu noktanın okumasıdır. Genellikle binlerce veri noktası …

11 data-visualization 

Kendi kendini organize eden bir haritayı eğittikten sonra, U-Matrix hesaplanabilir . Manuel olarak görselleştirmek ve kümeleri tanımlamak için bazı araçlar vardır , ancak bu işlemi otomatik olarak yapmak için herhangi bir algoritma olup olmadığını merak ediyorum (yani kümeleri tanımlamak için şekle bakan bir insanın olmaması). Bunu yapmanın bir yolu var …

10 clustering  image-processing  self-organizing-maps 

Başlık her şeyi söylüyor. Modelin hataları normal olarak dağıtılırsa, En Küçük Kareler ve Maksimum Olabilirlik oranının regresyon katsayıları için aynı sonucu vereceğini anlıyorum. Ancak, hatalar normal olarak dağıtılmazsa ne olur? Neden iki yöntem artık eşdeğer değil?

10 regression  normal-distribution  maximum-likelihood  least-squares  error 

Lütfen nin dışbükey olduğuna dair kanıt sağlayın . Burada, ve sırasıyla standart normal PDF ve CDF'dir.Q(x)=x2+xϕ(x)Φ(x)Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀x>0∀x>0\forall x>0 ϕϕ\phiΦΦ\mathbf{\Phi} TRIPS TRIED 1) HESAP YÖNTEMİ Matematik yöntemini denedim ve ikinci türev için bir formül var, ancak pozitif olduğunu göremiyorum . Daha fazla ayrıntıya ihtiyacınız olursa lütfen bize bildirin.∀x>0∀x>0\forall x > 0 Son …

10 probability  self-study 

Zaman serisi verilerinde buldukları / algıladıkları zaman aykırı değerleri düzeltmenin bir yolunu bulmaya çalışıyorum. R'deki nnetar gibi bazı yöntemler, büyük / büyük aykırı değerlere sahip zaman serileri için bazı hatalar verir. Zaten eksik değerleri düzeltmeyi başardım, ancak aykırı değerler hala tahminlerime zarar veriyor ...

10 time-series  forecasting  outliers  winsorizing 

Aşağıdaki zaman serisi verilerini mevsimsel, trend ve artık bileşenlere ayırmak istiyorum. Veriler, ticari bir binadan saatlik Soğutma Enerji Profili: TotalCoolingForDecompose.ts <- ts(TotalCoolingForDecompose, start=c(2012,3,18), freq=8765.81) plot(TotalCoolingForDecompose.ts) Bu nedenle aşağıdaki tavsiyelere dayanan bariz günlük ve haftalık mevsimsel etkiler vardır: Birden çok mevsimsel bileşen içeren bir zaman serisini nasıl parçalayabilirim? , Paketten tbatsişlevi …

10 r  time-series  forecasting  multiple-seasonalities  tbats