İstatistikler ve Büyük Veri

Lineer olmayan regresyon SAS Non Linear ile ilgili aşağıdaki linki okuyordum . “Doğrusal Olmayan Regresyona Karşı Doğrusal Regresyon” adlı ilk bölümü okuduğumdaki anlayış, aşağıdaki denklemin aslında doğrusal bir regresyon olduğuydu, doğru mu? Öyleyse neden? y=b1x3+b2x2+b3x+cy=b1x3+b2x2+b3x+cy = b_1x^3 + b_2x^2 + b_3x + c Am I also to understand that in …

27 regression  multiple-regression  nonlinear-regression  multicollinearity 

336x256 kayan nokta sayıları (336 bakteri genomu (sütunlar) x 256 normalleştirilmiş tetranükleotit frekansı (satır), örneğin her sütun 1'e kadar ekler) matrisine sahibim. Analizimi prensip bileşen analizi kullanarak yaptığımda iyi sonuçlar alıyorum. Öncelikle, veri üzerindeki kmean kümelerini hesaplarım, daha sonra bir PCA çalıştırırım ve veri noktalarını başlangıçtaki 2 km'lik kümelemeye dayanarak …

27 r  pca  tsne 

Stokastik bir süreç, zaman içinde gelişen bir süreçtir, bu yüzden gerçekten "zaman dizileri" demenin daha çekici bir yolu mu?

27 time-series  stochastic-processes  definition 

İstatistikleri öğrenmeye başladığımda, t-testi, ANOVA, ki-kare ve doğrusal regresyon gibi prosedürlerin her biri çok farklı canlılar gibi göründü. Ama şimdi bu prosedürlerin her birinin aynı şeyi yaptığını fark ediyorum. Benzer şekilde, varyans, artıklar, standart hata ve ortalama gibi değerler de aynı şeyi az çok ölçmektedir. Bu yüzden tüm bu prosedürleri …

27 definition 

Bu alıntıya defalarca rastladım: Bir deney bittikten sonra istatistikçiye danışmak çoğu zaman yalnızca ölüm sonrası bir inceleme yapmasını istemek içindir. Belki de deneyin neyin öldüğünü söyleyebilir. - Ronald Fisher (1938) Bana göre, belki biraz küstahça görünüyor. Deneylerin iyi tasarım olmadan nasıl öldüğünü açıklayan şimdiye kadar bulduğum tek örnek, kontrol eksikliği …

27 experiment-design 

İstatistik profesörüm “korelasyon” kelimesinin kesinlikle değişkenler arasındaki doğrusal ilişkilere uygulandığını, “ilişkilendirme” kelimesinin her türlü ilişki için geniş çapta uygulandığını iddia ediyor. Başka bir deyişle, "doğrusal olmayan korelasyon" teriminin bir oksimoron olduğunu iddia ediyor. Vikipedi " Korelasyon ve bağımlılık " hakkındaki makalesinde bu bölümden ne yapabilirim , Pearson korelasyon katsayısı iki …

27 correlation  terminology  non-independent 

En iyi özellik kombinasyonlarını bulmak için ileriye doğru seçim yaptığım yüzlerce özellik ile birlikte çapraz doğrulama yaptığım bir sınıflandırıcı var. Bunu, PCA ile aynı deneyleri çalıştırmayla karşılaştırıyorum, burada potansiyel özellikleri alıyorum, SVD uyguladım, orijinal sinyalleri yeni koordinat alanına dönüştürüyorum ve ileri seçim en iyi özelliklerini kullanıyorum .kkk Sezgim, PCA'nın, sonuçları …

27 classification  pca  feature-selection 

Belki bu soru saf, ama: Doğrusal regresyon, Pearson korelasyon katsayısı ile yakından ilişkiliyse, Kendall ve Spearman korelasyon katsayıları ile yakından ilişkili herhangi bir regresyon tekniği var mı?

27 regression  correlation  pearson-r  spearman-rho  kendall-tau 

gözlemleri ve değişkenleri (boyutlar) olan bir veri kümem varsa ve genellikle küçüktür ( ) ve küçükten ( ) belki de daha büyük olabilir ( ).p , n , n = 12 - 16 p s = 4 - 10 p = 30 - 50nnnpppnnnn = 12 - 16n=12−16n=12-16pppp = 4 …

27 pca  sample-size  factor-analysis 

Gelen arimane R fonksiyonu, order(1, 0, 12)ortalama? Atanabilecek değerler nelerdir p, d, qve ne işlem bu değerleri bulmak için nedir?

27 r  time-series  arima 

Benim sorunum: Paralel grup, primer sonucun çok doğru eğriltilmiş dağılımına sahip, randomize bir deneme. Normalliği varsaymak ve normal% 95 CI'leri kullanmak istemiyorum (yani 1.96 X SE kullanarak). Ortanca eğilim ölçüsünü ortanca olarak ifade etmekte rahatım, ancak sorum o zaman iki grup arasındaki medyanlardaki farkın% 95'ini nasıl oluşturacağımı soruyorum. Akla gelen …

27 confidence-interval  bootstrap  median  clinical-trials 

Son bir makalede , Masicampo ve Lalande (ML) birçok farklı çalışmada yayınlanmış çok sayıda p değeri topladı. P-değerlerinin histogramında% 5 kanonik kritik seviyede meraklı bir sıçrama gözlemlediler. Wasserman'in blogunda bu ML Phenomena hakkında güzel bir tartışma var: http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/ Blogunda histogramı bulacaksınız: % 5 seviyesi bir sözleşme ve bir doğa yasası …

27 statistical-significance  p-value  meta-analysis 

Genel görüş birliği lmer(), klasik ANOVA yerine R üzerinden karışık modeller kullanmak gibi göründüğü için (genellikle belirtilen nedenlerden dolayı, dengesiz tasarımlar, rastgele çapraz efektler vb.), Verilerimi denemek istiyorum. Ancak bu yaklaşımı süpervizörüme (nihayetinde p-değeri olan klasik bir analiz bekliyor) veya daha sonra hakemlere “satabileceğim” için endişeleniyorum. lmer()Tarla biyolojisi, psikoloji, tıp …

27 r  mixed-model  repeated-measures  lme4-nlme  references 

En iyi bilinen haydut algoritması, bu algoritma sınıfını popülerleştiren üst güven sınırıdır (UCB). O zamandan beri daha iyi algoritmalar olduğunu varsayıyorum. Mevcut en iyi algoritma nedir (deneysel performans veya teorik sınırlar açısından)? Bu algoritma bir anlamda en uygun mudur?

27 machine-learning  algorithms  theory  reinforcement-learning  multiarmed-bandit 

Bu sorunun etrafındaki tartışmaya ve özellikle Frank Harrell'in yorumuna, indirgenmiş bir modelde (yani, birkaç açıklayıcı değişkenin test edildiği ve reddedildiği bir varyans tahmininin) Ye'in Genelleştirilmiş Serbestlik Dereceleri kullanması gerektiği yorumunu yansıtıyorum . Profesör Harrell, bunun orijinal "tam" modelin (serbest bırakma modelinin) kalan serbestlik derecelerine (bir dizi değişkenin reddedildiği) son bir …

27 r  regression  model-selection  regression-strategies