İstatistikler ve Büyük Veri

İki faktörlü bir "bölünmüş grafik" ANOVA, bir faktörde tekrarlanan ölçümlerle iki yönlü ANOVA ile özdeş midir? değilse, ayrım nedir?

9 anova  repeated-measures  experiment-design  split-plot 

Hücre sinyali ölçümlerinde yanıtın varlığını ölçüyorum. Yaptığım şey önce veri zaman serisine bir düzeltme algoritması (Hanning) uygulamak, sonra zirveleri tespit etmekti. Ne olsun bu: Yanıtın tespitini "evet sürekli düşüşte bir artış görüyorsunuz" dan biraz daha objektif yapmak isteseydim, en iyi yaklaşım ne olurdu? Piklerin doğrusal regresyon ile belirlenen bir taban …

9 time-series  python  signal-detection 

Prestij filmindeki hileyi muhtemelen biliyorsunuz : [MOVIE SPOILER] Bir sihirbaz etkileyici bir sihir numarası buldu: bir makineye giriyor, kapıyı kapatıyor ve sonra odanın diğer tarafında kayboluyor ve yeniden ortaya çıkıyor. Ancak makine mükemmel değil: onu ışınlamak yerine onu çoğaltır. Sihirbaz olduğu yerde kalır ve odanın diğer tarafında bir kopya oluşturulur. …

9 probability 

Bu çok basit gelebilir, ancak bu sorun var: 300 pencere boyutu ile bir veri kuyruğum var. Yeni veri bir ucuna eklenir, eski değerleri diğer ucundan kaldırılır. Kuyruk verilerinin az çok tutarlı kalmasını bekliyorum, örneğin: 10,12,15,10,20, sonra keskin bir şekilde yükselmeye başlıyor: 15,10,20,22,25,26,28,30,32 ... 150 ya da daha fazla. Orada veriler …

9 time-series  maximum 

Ortalama güven aralığını tahmin ederken, hem bootstrap t yönteminin hem de parametrik olmayan bootstrap yönteminin geçerli olabileceğini düşünüyorum, ancak ilkinin biraz daha fazla hesaplama gerektirdiğini düşünüyorum. Acaba bootstrap t'in normal parametrik olmayan bootstrap'e göre avantajları ve dezavantajları nelerdir? Neden? Bunu açıklamak için bazı referanslar var mı?

9 confidence-interval  bootstrap 

İki değişkenin korelasyon gösterip göstermediğini kontrol ederken Pearson korelasyonu uygulamanın 0,1'e kadar düşük bir sayı verdiğini gözlemledim. Bu iddiayı güçlendirmek için yapabileceğim bir şey var mı? Baktığım veri kümesi (gönderme sınırları nedeniyle alt küme) şudur: 6162.178176 0.049820046 4675.14432 0.145022261 5969.056896 0.47210138 5357.506176 0.052263122 33.796224 16.45154204 6162.178176 0.064262991 6725.448576 0.419005508 3247.656192 …

9 correlation  data-mining  pearson-r 

Bir sensör için son derece düşük bir hata oranını test ederek göstermeye çalışıyorum (1.000.000 denemede 1'den fazla hata yok). Deneyi yürütmek için sınırlı zamanımız var, bu yüzden yaklaşık 4.000 denemeyi başaramayacağımızı tahmin ediyoruz. 4.000 denemede bir hata bile 0.000001'den daha düşük bir sınıra sahip hata oranı için% 95 güven aralığı …

9 survival  sample-size  quality-control 

Sciencemag.org'da bir makale okurken bu cümle ile karşılaştım . Sonunda, geri kalan veriler istatistiksel olarak anlamlı olmadığı için 12 ülkede sadece 7600 araştırmacının yanıtları dahil edildi. Bu araştırma yapmak için uygun bir yol mu? İstatistiksel olarak anlamlı bulunmadıkları için sonuçları hariç tutmak?

9 statistical-significance  sampling  outliers  theory 

İki değişken arasındaki ilişkiyi modellemek için hangi yöntemi kullanacağımdan emin değilim (xxx ve yyy) aşağıdaki gibi tarif edilen deneyde: 3 değişken vardır: xaimxbirbenmx_{aim}, xxx ve yyy. Değeri xaimxbirbenmx_{aim}deneyi çalıştırırken ayarlanır. Ancak,xxx ve xaimxbirbenmx_{aim} her zaman eşit değildir. Pearson korelasyon katsayısı xaimxbirbenmx_{aim} ve xxx yaklaşık 0.9'dur. Pearson korelasyon katsayısı xxx ve …

9 regression  correlation 

Yaklaşık 2.000 ikili değişken / 200.000 satır içeren bir veri kümesi var ve tek bir ikili bağımlı değişken tahmin etmeye çalışıyorum. Bu aşamadaki ana amacım tahmin doğruluğu elde etmek değil, bu değişkenlerden hangisinin önemli yordayıcılar olduğunu tanımlamaktır. Son modelimdeki değişken sayısını yaklaşık 100'e düşürmek istiyorum. En önemli değişkenleri elde etmenin …

9 machine-learning  data-mining  large-data 

Çoklu karşılaştırma düzeltmesinin ne zaman gerekli olduğu hakkında bir tür felsefi sorum var. Sürekli zamanla değişen sinyali ölçüyorum (ayrık zaman noktalarında). Zaman zaman ayrı olaylar meydana gelir ve bu olayların ölçülen sinyal üzerinde önemli bir etkisi olup olmadığını belirlemek istiyorum. Bu yüzden bir olayı takip eden ortalama sinyali alabilirim ve …

9 hypothesis-testing  multiple-comparisons 

Birisi t-testinin neden "olduğuna" dair bir açıklama yapabilir mi? Nüfus standardı sapmasını bilmediğinizde (yani, sadece numunenizin standart sapmasını biliyorsunuz) t-testini kullanmam öğretildi, ancak bunun neden bir z-testinden farklı olacağını bilmiyorum. .

9 hypothesis-testing  t-test 

Apriori hakkında wiki makalesini okudum. Kuru erik ve Katıl adımını anlamada sorun yaşıyorum. Herkes bana Apriori algoritmasının basit terimlerle nasıl çalıştığını açıklayabilir mi (benim gibi Acemi'nin kolayca anlayabileceği şekilde)? Birinin içinde yer alan adım adım süreci açıklaması iyi olacaktır.

9 data-mining  algorithms  frequentist 

3 gruba (X) bölünen bazı Y değişkenleri için, grupları karşılaştırmak ve% 90'lık kantilin her üç grup arasında aynı olduğu hipotezi için istiyorum. Hangi testleri kullanabilirim? Düşünebileceğim bir seçenek, kantil regresyon kullanmaktır, başka alternatifler / yaklaşımlar var mı? Eğer medyanı karşılaştırmak isteseydim, kruskal wallis testini kullanabilirdim (sıralamalara dayanmasına rağmen, doğru hatırlıyorsam, …

9 hypothesis-testing  anova  median  quantiles  kruskal-wallis 

Normal bir yoğunluktan benzetmek istiyorum (ortalama = 1, sd = 1 diyelim) ama sadece pozitif değerler istiyorum. Bir yol normalden simüle etmek ve mutlak değeri almaktır. Bunu katlanmış bir normal olarak düşünüyorum. R'de, kesik rastgele değişken üretimi için fonksiyonlar olduğunu görüyorum. Kesik bir normalden (0'da kesme) simüle edersem, bu katlanmış …

9 normal-distribution  simulation  truncation