"Korelasyon" kelimesinin kullanımında yaygın olarak farklı varsayımlara ve anlamlara sahip olmasının basit bir nedeni nedeniyle genel bir titizlik eksikliği vardır. En basit, en gevşek ve en yaygın kullanım, statik bir rastgele değişken çifti çifti arasında belli belirsiz bir ilişki, ilişki veya bağımsızlık eksikliğidir.
Burada adı geçen varsayılan metrik, genellikle sürekli olarak dağıtılan iki değişken arasında ikili, doğrusal bir ilişkinin standart bir ölçüsü olan Pearson korelasyonudur . Biri Pearson sık suistimallerin bir yüzdesi olarak rapor etmektir. Bu kesinlikle bir yüzde değil. Pearson korelasyon r arasında, -1.0 ve +1,0 burada 0 aracı bir aralıkları doğrusal ilişki. Pearson korelasyonunu varsayılan olarak kullanmanın çok yaygın olarak kabul edilemeyen diğer hususları , varsayılan olarak aralıklı olarak değişkenlik gerektiren değişkenlik gerektiren oldukça katı, sağlam olmayan bir doğrusallık ölçütü olmasıdır (bkz. Paul Embrechts 'in mükemmel makalesi).Risk Yönetiminde Korelasyon ve Bağımlılık: Buradaki Özellikler ve Tuzaklar : https://people.math.ethz.ch/~embrecht/ftp/pitfalls.pdf ).
Embrechts, bağımlılık hakkında, bu yapının altında yatan yapının ve geometrik şeklinin varsayımları ile başlayan birçok yanlış varsayım bulunduğunu not eder:
Bu yanlışlıklar, eliptik dünyanın bağımlılık özelliklerinin eliptik olmayan dünyada da geçerli olduğu naif bir varsayımdan kaynaklanmaktadır.
İçin Embrechts noktaları kopulaların olan finans ve risk yönetimi, kullanılan bağımlılık ölçütlerinin çok daha geniş sınıf olarak Pearson korelasyon sadece bir türüdür.
Columbia İstatistik bölümü, 2013-2014 akademik yılını bağımlılık yapılarının daha derinlemesine anlamaları üzerine odaklandı: örneğin, doğrusal, doğrusal olmayan, monotonik, rütbe, parametrik, parametrik olmayan, potansiyel olarak oldukça karmaşık ve ölçeklemede büyük farklılıklar var. Yıl, bu alanda en çok katkıda bulunanların çoğunu bir araya getiren 3 günlük bir atölye ve konferans ile sona erdi ( http://datascience.columbia.edu/workshop- ve-conference- nonparametric-measures-dependence-apr-28-may-). 2 ).
Bu katkı Reshef Brothers, bir 2011 için şimdi ünlü dahil Bilim kağıt Büyük Veri Tespit Roman Dernekleri ayarlar http://www.uvm.edu/~cdanfort/csc-reading-group/reshef-correlation-science-2011.pdf o geniş çapta eleştirilmiştir (Columbia etkinliği ile aynı anda yayınlanan iyi bir genel bakış için AndrewGelman.com'a bakınız: http://andrewgelman.com/2014/03/14/maximal-information-coefficient ). Reshefs, bu eleştirilerin tümünü sunumlarında (Columbia konferansı web sitesinde bulunabilir) ve çok daha verimli bir MIC algoritması ile ele aldı.
Gabor Szekely de dahil olmak üzere, bu organizasyonda şu anda DC’deki NSF’de birçok önde gelen istatistikçi sundu. Szekely mesafesini ve kısmi mesafe ilişkilerini geliştirdi. Tapınak U, Deep Mukhopadhay, Birleşmiş İstatistik Algoritmasını - veri biliminin birleşik algoritmaları için bir çerçeve - Eugene Franzen ile yapılan çalışmaya dayanarak http://www.fox.temple.edu/mcm_people/subhadeep-mukhopadhyay/ . Ve bircok digerleri. Benim için en ilginç temalardan biri, geniş bir kaldıraç ve Çekirdek Hilbert Uzayını (RKHS) ve ki-kareyi çoğaltmaktı. Bu konferansta bağımlılık yapılarına modal bir yaklaşım olsaydı, RKHS oldu.
Tipik intro istatistik ders kitapları, genellikle aynı dairesel veya parabolik ilişkilerin görselleştirme setlerinin sunumlarına dayanarak, bağımlılık tedavisinde temel niteliğindedir. Daha karmaşık metinler, benzer, basit istatistiksel özelliklere sahip fakat çok farklı ilişkilere sahip dört farklı veri kümesinin görselleştirmesi olan Anscombe'nin Dörtlüsü'ne girecek : https://en.wikipedia.org/wiki/Anscombe%27s_quartet
Bu atölye çalışmasının en güzel yanlarından biri, standart, temelsiz tedavinin çok ötesine geçen, bağımlılık yapılarının ve görselleştirilen ve sunulan ilişkilerin çokluğu idi. Mesela, Reshefs’te, olası doğrusallıkların sadece bir örneğini temsil eden düzinelerce minik resim grafiği vardı. Derin Mukhopadhay, Himalayaların uydu görüntüsü gibi görünen son derece karmaşık ilişkilerin çarpıcı görsellerine sahipti. İstatistikler ve veri bilimi ders kitabı yazarlarının dikkat etmesi gerekiyor.
Columbia konferansından bu son derece karmaşık, ikili bağımlılık yapılarının geliştirilmesi ve görselleştirilmesiyle ortaya çıkarken, çok değişkenli istatistiksel modellerin bu doğrusal olmayanları ve karmaşıklıkları yakalama kabiliyetini sorgulamaya bırakıldım.