İstatistikler ve Büyük Veri

Bu araç tablosundaki gözlemler ve hatırlama puanlarının standart sapmaları için uygun bir plan görselleştirmeye çalışıyorum: RecallControlMean37SD8ExperimentalMean21SD6ControlExperimentalMeanSDMeanSDRecall378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & 6 \\ \hline \end{array} Bunu yapmanın en iyi …

11 data-visualization  standard-deviation  mean  descriptive-statistics  barplot 

Larry Wasserman'ın Tüm İstatistikler kitabını ve şu anda p değerleri hakkında okuyorum (sayfa 187). Önce bazı tanımları sunayım (alıntı yapıyorum): Tanım 1 ret bölgesi olan bir testin gücü fonksiyonu ile tanımlanır bir test boyutu olarak tanımlanır bir test seviyesi olduğu söylenir \ alfa boyutu daha az ya da buna eşit …

11 hypothesis-testing  mathematical-statistics  p-value 

Temel bileşenler analizinin aksine, faktör analizi modellerine yönelik çözümlerin mutlaka iç içe olması gerekmez. Yani, ilk faktör için yükler (örneğin) sadece ilk faktör çıkarıldığında ve ilk iki faktör olduğunda aynı olmayacaktır. Bunu göz önünde bulundurarak, yüksek derecede korelasyonlu bir dizi manifesto değişkenine sahip olduğunuz ve (içeriklerinin teorik bilgisiyle) tek bir …

11 references  factor-analysis  psychometrics 

Bir veri kümesinin (ilk) momentini tahmin edebildiğim ve yoğunluk fonksiyonunun bir tahminini üretmek için kullanmak istediğim bir durum var.kkk Zaten Pearson dağılımına rastladım , ancak sadece ilk 4 anına dayandığını fark ettim (olası an kombinasyonlarına bazı kısıtlamalar ile). Ayrıca, herhangi bir sonlu an setinin, daha fazla varsayım kullanmadığınızda belirli bir …

11 pdf  kernel-smoothing  moments 

Kabaca 60 milyon ibareyi bir vektör boşluğuna yerleştirmeye çalışıyorum , sonra aralarındaki kosinüs benzerliğini hesaplıyorum . Ben sklearn's CountVectorizerunigram ve bigram üreten özel inşa tokenizer fonksiyonu ile kullanıyorum. Anlamlı temsiller elde etmek için, çok sayıda sütuna izin vermem gerekiyor, satır sayısı bakımından doğrusal. Bu inanılmaz derecede seyrek matrislere yol açar …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

bağlam Bu, bu soruya biraz benziyor , ancak bunun tam bir kopya olduğunu düşünmüyorum. Bir bootstrap hipotez testinin nasıl yapılacağına dair talimatlara baktığınızda, genellikle ampirik dağılımı güven aralıkları için kullanmanın iyi olduğu, ancak bir p- elde etmek için boş hipotez altındaki dağılımdan doğru şekilde önyükleme yapmanız gerektiği belirtilir. değer. Örnek …

11 confidence-interval  p-value  bootstrap 

OLS regresyonumda eşdoğrusallığın bir sorun olup olmadığını tespit etmek istiyorum. Varyans enflasyon faktörlerinin ve durum endeksinin yaygın olarak kullanılan iki önlem olduğunu anlıyorum, ancak her yaklaşımın esası ya da puanların ne olması gerektiği konusunda kesin bir şey bulmakta zorlanıyorum. Hangi yaklaşımın yapılacağını ve / veya hangi puanların uygun olduğunu gösteren …

11 multiple-regression  references  least-squares  multicollinearity  vif 

Özellik seçimini öğreniyorum. Model oluşturmak için neden önemli ve yararlı olacağını görebiliyorum. Ancak denetimli öğrenme (sınıflandırma) görevlerine odaklanalım. Sınıflandırma görevleri için özellik seçimi neden önemlidir? Özellik seçimi ve denetimli öğrenme için kullanımı hakkında yazılmış çok sayıda literatür görüyorum, ancak bu beni şaşırtıyor. Özellik seçimi, atmak istediğiniz özellikleri tanımlamakla ilgilidir. Sezgisel …

11 feature-selection  accuracy  regression-strategies 

Bir sayı vektörü girdi olarak alan ve çıktı olarak bir sınıf etiketi veren bir sınıflandırıcı öğrenmek istediğimizi varsayalım. Egzersiz verilerim çok sayıda girdi-çıktı çiftinden oluşuyor. Ancak, bazı yeni veriler üzerinde test yapmaya geldiğimde, bu veriler genellikle sadece kısmen tamamlanır. Örneğin, giriş vektörü 100 uzunluğundaysa, elemanların sadece 30'una değerler verilebilir ve …

11 machine-learning  classification  neural-networks  deep-learning 

Enlem ve boylam koordinatları listesinden 2d çekirdek yoğunluğu tahminini (kde) hesaplamalıyım. Ancak enlemdeki bir derece, boylamdaki bir derece ile aynı mesafe değildir, bu, bireysel çekirdeklerin oval olacağı anlamına gelir, özellikle nokta ekvatordan daha uzaktır. Benim durumumda, noktaların birbirine düz bir toprağa dönüştürülmesinin çok fazla soruna neden olmaması gerektiği kadar yakın. …

11 spatial  kernel-smoothing  geostatistics  geography 

Metodu tamamen olasılık oranı testine dayanan bir makale okuyorum . Yazar, tek taraflı alternatiflere karşı LR testinin UMP olduğunu söylüyor. İddia ederek ilerler “... [LR testi] üniform olarak en güçlü olduğu gösterilemese bile, LR testi genellikle istenen istatistiksel özelliklere sahiptir." Burada istatistiksel özelliklerin ne anlama geldiğini merak ediyorum. Yazarın geçmekte …

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

Bir parametrenin MAP tahmini formülü göz önüne alındığında, neden bir MCMC (veya benzeri) yaklaşıma ihtiyaç duyulur, sadece türevi alıp sıfıra ayarlayamadım ve parametre için çözemedim?

11 bayesian  estimation  mcmc 

Regresyon için Gauss işlemi (GP) kullanıyorum. Benim , iki veya daha fazla veri noktasının uzunluğuna nispeten birbirine yakın olması oldukça yaygındır. sorunun ölçekleri. Ayrıca, gözlemler son derece gürültülü olabilir. Hesaplamaları hızlandırmak ve ölçüm hassasiyetini artırmak için, daha büyük uzunluktaki tahminleri önemsediğim sürece birbirine yakın nokta kümelerini birleştirmek / entegre etmek …

11 regression  machine-learning  gaussian-process 

Lisansüstü istatistiki çıkarım sınıfımda Jeffreys'i daha önce öğrendiğimde, profesörlerim bunu herkesin kullanacağı için değil, çoğunlukla tarihsel nedenlerden dolayı ilginç bulmuşlardı. Daha sonra Bayesian veri analizi yaptığımda, asla Jeffreys'in önceliklerini kullanmamız istenmedi. Bunları pratikte gerçekten kullanan var mı? Eğer öyleyse (ya da değilse), neden ya da neden olmasın? Neden bazı istatistikçiler …

11 bayesian  prior  jeffreys-prior 

Bir süredir bir şey düşünüyordum ve olasılık teorisinde çok yetkin olmadığım için, bu soruyu sormak için iyi bir yer olabileceğini düşündüm. Bu toplu taşıma araçlarının uzun kuyruklarında bana gelen bir şey. Bir otobüs durağında olduğunuzu ve gelecekte bir otobüsün (veya birkaç otobüsün) kesinlikle geleceğini bildiğinizi varsayalım (gün içinde) ama kesin …

11 probability