İstatistikler ve Büyük Veri

Eski bir deyiş vardır: "Korelasyon nedensellik anlamına gelmez". Öğretirken, bu noktayı göstermek için aşağıdaki standart örnekleri kullanmaya meyilliyim: Danimarka'da leylek sayısı ve doğum oranı; Amerika'da rahiplerin sayısı ve alkolizm; 20. yüzyılın başında, 'radyo sayısı' ile 'Çılgın İlticalardaki İnsan Sayısı' arasında güçlü bir ilişki olduğu belirtildi. ve en sevdiğim: korsanlar küresel …

74 correlation  teaching 

Diğer makalelerden farklı olarak, bu konu için wikipedia girişini matematik olmayan bir kişi için (benim gibi) okunamayan buldum . Temel fikri anladım, daha az kuralı olan modelleri tercih edersiniz. Alamadığım şey, bir dizi kuraldan, modelleri en azından en fazla giydirmeye sıralamak için kullanabileceğiniz bir 'normalizasyon puanına' nasıl ulaşacağınızdır. Basit bir …

74 regularization 

Makine Öğrenimi derslerini çevrimiçi olarak alıyorum ve hipotezdeki en uygun değerleri hesaplamak için Gradient Descent'i öğrendim. h(x) = B0 + B1X değerleri aşağıdaki formüle göre kolayca bulabiliyorsak neden Gradient Descent kullanmamız gerekiyor? Bu da ileri ve kolay görünüyor. ancak GD'nin değeri elde etmek için çoklu yinelemeye ihtiyacı var. B1 = …

73 regression  machine-learning  gradient-descent 

Korelasyonun nedensellik anlamına gelmediğini, ancak korelasyonun bulunmamasının nedensellik olmadığı anlamına geldiğini biliyorum.

73 correlation  causality 

Şubat 2015 tarihinde 25 dergi Temel ve Uygulamalı Sosyal Psikoloji bir makale yayınladı yasaklayan gelecekteki tüm gazetelerden-değerlerine ve güven aralıkları.ppp Özellikle, derler ki (biçimlendirme ve vurgu benimdir): [...] yayınlanmadan önce, yazarlar NHSTP'nin [boş hipotez anlamlılık testi prosedürü] 'nün tüm değerlerini kaldırmak zorunda kalacaklar ( -değerleri, -değerleri, -değerleri,' 'önemli' 'farklılıklar veya …

73 hypothesis-testing  confidence-interval  p-value  effect-size  psychology 

Bu yazının özetinde şunu okudum : “Hartley aud Rao'nun maksimum olabilirlik (ML) prosedürü, olasılıkı sabit etkilerden arınmış olan ve normalliği iki bölüme ayıran Patterson ve Thompson'dan bir dönüşümü uyarlayarak değiştirilir. (REML) tahmin edicileri. " Ayrıca bu yazının özetini de okuduğumu okudum : "Sabit etkilerin tahmin edilmesinden kaynaklanan serbestlik derecelerini dikkate …

73 mixed-model  maximum-likelihood  reml 

Farklı yeniden örnekleme yöntemleri (Monte Carlo simülasyonu, parametrik önyükleme, parametrik olmayan önyükleme, jackknifing, çapraz doğrulama, rastgele testler ve permütasyon testleri) ve bunların R'yi kullanarak kendi bağlamlarındaki uygulamaları arasındaki farkı anlamaya çalışıyorum. Diyelim ki aşağıdaki durum var - ANOVA'yı Y değişkeni ( Yvar) ve X değişkeni ( Xvar) ile gerçekleştirmek istiyorum …

73 r  bootstrap  resampling  jackknife  permutation-test 

PSY'nin müzik videosu "Gangnam style" popülerdir, 2 aydan biraz fazla bir süre sonra yaklaşık 540 milyon izleyiciye sahiptir. Bunu geçen hafta akşam yemeğinde varoluşum çocuklarımdan öğrendim ve kısa bir süre sonra tartışma 10-12 gün içinde ne kadar izleyicinin olacağına dair bir tür tahminde bulunup bulunmadığı yönünde oldu. 800 milyon izleyiciyi …

73 modeling  web 

Bir süredir veri madenciliği ve makine öğrenimi ile çok ilgilenmiştim , kısmen okulda o alanda yoğunlaştığım için, aynı zamanda sadece programlamadan biraz daha fazla düşünce gerektiren sorunları çözmeye çalışırken gerçekten çok daha heyecanlı olduğum için bilgi ve kimin çözümü çok formlara sahip olabilir. Araştırmacı / bilim adamı geçmişim yok, veri …

73 machine-learning  data-mining  careers  phd 

Yeni başlayanlar için bu dilde öğrenmeye ve programlamaya başlamayı kolaylaştıran R için herhangi bir GUI var mı?

73 r 

Bazı disiplinlerde, PCA (temel bileşen analizi) sistematik olarak herhangi bir gerekçe gösterilmeden kullanılır ve PCA ve EFA (araştırma faktörü analizi) eş anlamlı olarak kabul edilir. Bu nedenle yakın zamanda bir ölçek doğrulama çalışmasının sonuçlarını analiz etmek için PCA'yı kullandım (her biri 7 maddeden 3 faktör oluşturduğu varsayılan 7 maddelik Likert …

73 pca  factor-analysis  eda 

Benzer vakaları gruplandırmak için ayarlanmış bir veri üzerinde küme analizi kullanılırken, çok sayıda kümeleme yöntemi ve uzaklık ölçüsü arasından seçim yapılması gerekir. Bazen bir seçim diğerini etkileyebilir, ancak birçok olası yöntem kombinasyonu vardır. Çeşitli kümeleme algoritmaları / yöntemleri ve mesafe ölçütleri arasından nasıl seçim yapılacağı konusunda herhangi bir tavsiyesi olan …

73 clustering  distance-functions  methodology 

Birkaç farklı kullanım vardır: çekirdek yoğunluğu tahmini çekirdek numarası çekirdek yumuşatma Lütfen içlerindeki "çekirdeğin" ne demek olduğunu açık bir şekilde İngilizce olarak kendi kelimelerinizle açıklayınız.

73 kernel-trick  kernel-smoothing 

Çoğu zaman istatistiksel bir analiste set veri kümesi verilir ve doğrusal regresyon gibi bir teknik kullanılarak bir modele uyması istenir. Veri setine sıklıkla "Ah evet, bu veri noktalarının bir kısmını topladık - yapabileceklerinizi yapın" gibi bir feragatname eşlik eder. Bu durum hatalı veri olabilecek aykırı değerlerin varlığından büyük ölçüde etkilenen …

73 regression  outliers 

Son zamanlarda Fisher'ın hipotez testi yöntemi ile Neyman-Pearson düşünce okulu arasındaki farklar hakkında çok şey okudum. Sorum şu: bir an için felsefi itirazları görmezden gelmek; Fisher'in istatistiksel modelleme yaklaşımını ne zaman kullanmalıyız ve Neyman-Pearson anlamlılık düzeyi etetre yöntemini ne zaman kullanmalıyız? Herhangi bir pratik problemde hangi bakış açısını destekleyeceğine karar …

73 hypothesis-testing  p-value  methodology