İstatistikler ve Büyük Veri

Örneğin, programlama ile ilgili diğer dizelerle programlama hakkında dizeleri, fizikle ilgili dizeleri fizikle ilgili diğer dizelerle vb. Gruplandırmaya çalışıyorum. Sorunun göze çarpan teorik dilsel yönüne rağmen, aslında bunu programlama / yazılım kullanarak yapmak istiyorum. Özet: Çok sayıda dizge göz önüne alındığında, bunları semantik temaya göre gruplandırmaya nasıl giderim? Özel uygulama: …

10 natural-language  data-mining 

Çoklu doğrusal regresyon yapmak ve sonra yeni değerleri az tahmin ile tahmin etmek istiyorum. Yanıt değişkenim -2 ile +7 arasında ve üç öngörücü var (yaklaşık +10 - +200 aralığında). Dağılım neredeyse normaldir. Ancak cevap ve öngörücüler arasındaki ilişki doğrusal değildir, araziler üzerinde eğriler görüyorum. Örneğin bunun gibi: http://cs10418.userapi.com/u17020874/153949434/x_9898cf38.jpg Doğrusallığa ulaşmak …

10 regression  data-transformation 

Parçaları üreten bir prototip makinem var. Birinci testte makine üreten N-1N1N_1 parça ve bir ikili sınıflandırıcı olduğunu söyler parça arızalı (vardır , genellikle ve ) ve parça iyidir.d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 - d 1d1d1d_1d1< N1d1<N1d_1 …

10 hypothesis-testing  statistical-significance  classification  proportion 

Eğer değiştirmeden 363 kişilik bir havuzdan 232 kişi seçersem, bu seçimdeki 12 belirli kişiden oluşan bir listeden 2'sinin olasılığı nedir? Bu, 232 spot için 363 katılımcının olduğu ultra yarış için rastgele bir beraberlik. Seçimin belirli bir 12 kişilik gruba karşı önyargılı olup olmadığı konusunda bir tartışma var. Bunu hesaplamaya yönelik …

10 combinatorics  randomness  hypergeometric 

İki çapraz rastgele efektim olduğunu düşündüğüm bazı verileri modelliyorum. Ancak veri kümesi dengeli değil ve bunu hesaba katmak için ne yapılması gerektiğinden emin değilim. Verilerim bir dizi etkinliktir. Bir istemci, bir görevi yerine getirmek için başarılı olan veya olmayan bir sağlayıcıyla buluştuğunda bir olay oluşur. Binlerce müşteri ve sağlayıcı vardır …

10 r  mixed-model  random-effects-model  logistic 

Donald Rubin'in bir tekniğin gerçek bir limonunu bulacağını kabul etmek benim için zor. Yine de bu benim BESD hakkındaki algım [ 1 , 2 , 3 ]. Rosenthal ve Rubin (1982) tarafından hazırlanan orijinal makale, "orijinal verilerin sürekli veya kategorik olsun, böyle bir [2x2] ekrana herhangi bir ürün-an korelasyonunun nasıl …

10 interpretation  effect-size 

Aşağıdaki doğrusal model var: Kalıntıların heterosensedastisitesini ele almak için bağımlı değişkene bir log dönüşümü olarak uygulamaya çalıştım fakat artıklar üzerinde aynı fan çıkışı etkisini görüyorum. DV değerleri nispeten küçüktür, bu nedenle günlüğü almadan önce +1 sabit ilavesi bu durumda muhtemelen uygun değildir.log(Y+1)log⁡(Y+1)\log(Y + 1) > summary(Y) Min. :-0.0005647 1st Qu.: …

10 regression  data-transformation  linear-model  heteroscedasticity 

SEM'i uygulamaya çalıştığım bir veri kümesi ile ilgili çok fazla sorunum var. 5 göstergeli A, B, C, D, E gizli faktörlerinin varlığını varsayalım. A1 - A5 (sıralı faktörler), B1 - B3 (kantitatif), C1, D1, E1 (son üç sıralı faktörün tümü, yalnızca E1 için 2 seviye ile) Tüm faktörler arasındaki kovaryanslarla …

10 r  modeling  multiple-regression  sem 

Zaman içinde değişiklikleri tahmin etmeye çalıştığım işlevde Gauss süreç gerilemesini gerçekleştirmek için iyi stratejiler nelerdir? Aklıma gelen naif yaklaşım, regresyonu gerçekleştirmek için sadece en son N veri noktasını kullanmaktır. Daha iyi stratejiler nelerdir?

10 regression  online  gaussian-process 

Bir süre, olasılıklar modellerden çekirdekler inşa etmenin bir yolu gibi göründüğü için Fisher Çekirdekleri popüler olabilir gibi görünüyordu. Ancak, bunların pratikte nadiren kullanıldığını gördüm ve çok iyi çalışmazlar. Fisher Information'ın hesaplamasına güveniyorlar - alıntı yapmak Wikipedia: Fisher bilgisi, f'nin doğal logaritmasının with'sine göre ikinci türev beklentisinin negatifidir. Bilgi, curve'nın maksimum …

10 machine-learning  probability  kernel-trick  generative-models 

Otomattaki ürünlerin satışını tahmin etmeye çalışıyorum. Sorun, makinenin düzensiz aralıklarla doldurulması ve her dolumda, makinenin son dolumundan bu yana toplu satışları kaydedebilmemizdir (yani günlük satış verilerine sahip değiliz). Temelde, düzensiz aralıklarla toplu satışlar için verilerimiz var. Aralıklar genellikle 2 gün ile 3 hafta arasındadır. Bir satış makinesi ve bir ürün …

10 time-series  forecasting 

Çok büyük bir veri kümesine erişimim var. Veriler, dört türden birinden müzikal alıntıları dinleyen insanların MEG kayıtlarından alınmıştır. Veriler aşağıdaki gibidir: 6 Konular 3 Deneysel tekrarlar (çağlar) Dönem başına 120 Deneme 275 MEG kanalından 500Hz'de (= 4000 örnek) deneme başına 8 saniye veri Yani burada her "örnek" [4000x275] boyutunda bir …

10 machine-learning  feature-selection  large-data  feature-construction 

Temel olarak, büyük veri kümelerine karşı öğrenmenin iki yaygın yolu vardır (zaman / alan kısıtlamaları ile karşılaştığınızda): Hile :) - eğitim için sadece bir "yönetilebilir" alt kümesini kullanın. Doğruluk kaybı, azalan getiriler yasası nedeniyle ihmal edilebilir - modelin tahmini performansı, tüm eğitim verileri buna dahil edilmeden çok önce düzleşir. Paralel …

10 machine-learning  large-data  model-evaluation  train 

Sık karşılaşılan bir sorun ML'nin verilerin kalitesinin düşük olmasıdır: özellik değerlerindeki hatalar, yanlış sınıflandırılan örnekler vb. Bu sorunu ele almanın bir yolu verileri manuel olarak gözden geçirmek ve kontrol etmektir, ancak başka teknikler var mı? (Eminim vardır!) Hangileri daha iyi ve neden?

10 data-cleaning 

Bir sinyal işleme tekniği, Mel frekans Cepstrum , genellikle bir makine öğrenme görevinde kullanılmak üzere bir müzik parçasından bilgi çıkarmak için kullanılır. Bu yöntem kısa vadeli bir güç spektrumu verir ve katsayılar girdi olarak kullanılır. Müzik erişim sistemlerini tasarlarken, bu katsayılar bir parçanın karakteristiği olarak kabul edilir (açıkçası mutlaka benzersiz …

10 machine-learning  classification  signal-processing  mfcc