Veri kümelerinin muhtemelen sıfır standart sapma ile Pearson korelasyonu?

12

Muhtemelen sıfır standart sapma ile veri kümelerinin pearson korelasyon katsayısını hesaplamakta bir sorun yaşıyorum (yani tüm veriler aynı değere sahiptir).

Aşağıdaki iki veri kümesine sahip olduğumu varsayalım:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Korelasyon katsayısı "r", aşağıdaki denklem kullanılarak hesaplanır:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Ancak, "y" veri kümesindeki tüm veriler aynı değere sahip olduğundan, standart sapma std_dev (y) sıfır olur ve "r" tanımsız olur.

Bu sorunun çözümü var mı? Yoksa bu durumda veri ilişkisini ölçmek için başka yöntemler kullanmalı mıyım?

correlation

— Andree
kaynak

Bu örnekte, y değişmediği için "veri ilişkisi" yoktur. Atama bir sayısal değer r bir hata olacaktır.

— whuber

1

@whuber - doğrudur şart olmamakla birlikte "gerçek" bilinmeyen korelasyon olduğu, tanımlanmamış tahmin edilemez. Tahmin etmek için farklı bir şey kullanmanız yeterlidir.

r

$r$

ρ

$\rho$

— olasılık

@probability Bunun yalnızca bir karakterizasyon sorunu değil, bir tahmin sorunu olduğunu varsayıyorsunuz. Ancak bunu kabul ederek, örnekte hangi tahminciyi önerirsiniz? Hiçbir cevap evrensel olarak doğru olamaz çünkü tahmin edicinin nasıl kullanılacağına bağlıdır (aslında bir kayıp fonksiyonu). Böyle PCA gibi birçok uygulama, kullanarak olası görünüyor herhangi prosedürü itici gücü için bir değer olduğunu tanıyan diğer prosedürler daha kötü olabilir tespit edilemez.

ρ

$\rho$

ρ

$\rho$

— whuber

1

@whuber - tahminin benim için kelimelerin kötü bir seçim (seni en iyi wordsmith değilim fark etmiş olabilir), ne demek rağmen olmasıydı benzersiz tespit edilemez, bu veriler yararsız olduklarını anlamına gelmez bize . Cevabım bunun cebirsel bir bakış açısıyla (çirkin) bir açıklamasını veriyor.

ρ

$\rho$

ρ

$\rho$

— olasılık

@ Olasılık Analizinizin çelişkili olduğu görülmektedir: eğer gerçekten y normal bir dağılımla modellenmişse, beş 2'lik bir örnek bu modelin uygun olmadığını gösterir. Sonuçta, hiçbir şey için bir şey elde edemezsiniz: sonuçlarınız, öncelikler hakkında yapılan varsayımlara güçlü bir şekilde bağlıdır. tanımlanmasındaki asıl sorunlar hala oradadır, ancak tüm bu ek varsayımlar tarafından gizlenmiştir. Bu, IMHO'yu meseleleri açıklığa kavuşturmak yerine gizlemek gibi görünüyor.

ρ

$\rho$

— whuber

9

"Örnekleme teorisi" insanlar size böyle bir tahminin olmadığını söyleyecektir. Ama bir tane alabilirsiniz, sadece önceki bilgileriniz hakkında makul olmanız ve çok daha zor bir matematik çalışması yapmanız gerekir.

Bir Bayes tahmin yöntemi belirttiyseniz ve posterior öncekiyle aynı ise, verilerin parametre hakkında hiçbir şey söylemediğini söyleyebilirsiniz. İşler bize "tekil" gelebileceğinden, sonsuz parametre boşluklarını kullanamayız. Pearson korelasyonunu kullandığınız için, iki değişkenli bir normal olasılığınız olduğunu varsayıyorum:

p (D | μ_{x}, μ_{y}, σ_{x}, σ_{y}, ρ) = {(σ_{x} σ_{y} \sqrt{2 π (1 - ρ^{2})})}^{- N} e x p (- \frac{\sum_{i} Q_{i}}{2 (1 - ρ^{2})})

$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$ burada

Q_{i} = \frac{(x_{i} - μ_{x})^{2}}{σ_{x}^{2}} + \frac{(y_{i} - μ_{y})^{2}}{σ_{y}^{2}} - 2 ρ \frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{σ_{x} σ_{y}}

$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$

Şimdi bir veri kümesinin aynı değerde olabileceğini belirtmek için ve sonra şunu elde ederiz: $y_i=y$

\sum_{i} Q_{i} = N [\frac{(y - μ_{y})^{2}}{σ_{y}^{2}} + \frac{s_{x}^{2} + (\bar{x} - μ_{x})^{2}}{σ_{x}^{2}} - 2 ρ \frac{(\bar{x} - μ_{x}) (y - μ_{y})}{σ_{x} σ_{y}}]

$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$ burada

s_{x}^{2} = \frac{1}{N} \sum_{i} (x_{i} - \bar{x})^{2}

$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$

Ve olabilirlik dört rakamdan bağlıdır böylece . Bu yüzden bir tahmini istiyorsunuz , bu yüzden ve sıkıntı parametrelerini . Şimdi entegrasyona hazırlanmak için "kareyi tamamlıyoruz" $s_x^2,y,\overline{x},N$ $\rho$ $\mu_x,\mu_y,\sigma_x,\sigma_y$

\frac{\sum_{i} Q_{i}}{1 - ρ^{2}} = N [\frac{{(μ_{y} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}])}^{2}}{σ_{y}^{2} (1 - ρ^{2})} + \frac{s_{x}^{2}}{σ_{x}^{2} (1 - ρ^{2})} + \frac{(\bar{x} - μ_{x})^{2}}{σ_{x}^{2}}]

$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$

Şimdi dikkatli olmalıyız ve uygun şekilde normalleştirilmiş bir olasılık sağlamalıyız. Bu şekilde başımız belaya giremez. Böyle bir seçenek, zayıf bir şekilde bilgilendirici olan önceden kullanmaktır; Dolayısıyla önceden düz olan araçlar için ve standart sapmalar için . önce. Bu sınırlar, problem hakkında biraz "sağduyu" düşüncesiyle kolayca belirlenir. Ben için önceden belirtilmemiş alacak , ve böylece olsun (üniforma tamam çalışmalıdır, eğer tekilliği kesmeyin ): $L_{\mu}<\mu_x,\mu_y<U_{\mu}$ $L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$ $\rho$ $\pm 1$

p (ρ, μ_{x}, μ_{y}, σ_{x}, σ_{y}) = \frac{p (ρ)}{A σ_{x} σ_{y}}

$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$

Burada . Bu bir posterior verir: $A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

p (ρ | D) = \int p (ρ, μ_{x}, μ_{y}, σ_{x}, σ_{y}) p (D | μ_{x}, μ_{y}, σ_{x}, σ_{y}, ρ) d μ_{y} d μ_{x} d σ_{x} d σ_{y}

$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$

= \frac{p (ρ)}{A [2 π (1 - ρ^{2})]^{\frac{N}{2}}} \int_{L_{σ}}^{U_{σ}} \int_{L_{σ}}^{U_{σ}} {(σ_{x} σ_{y})}^{- N - 1} e x p (- \frac{N s_{x}^{2}}{2 σ_{x}^{2} (1 - ρ^{2})}) \times

$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$

\int_{L_{μ}}^{U_{μ}} e x p (- \frac{N (\bar{x} - μ_{x})^{2}}{2 σ_{x}^{2}}) \int_{L_{μ}}^{U_{μ}} e x p (- \frac{N {(μ_{y} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}])}^{2}}{2 σ_{y}^{2} (1 - ρ^{2})}) d μ_{y} d μ_{x} d σ_{x} d σ_{y}

$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$

Artık üzerinden ilk entegrasyon, değişkenlerinde değişiklik yapılarak yapılabilir ve üzerindeki ilk integral olur: $\mu_y$ $z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$ $\mu_y$

\frac{σ_{y} \sqrt{2 π (1 - ρ^{2})}}{\sqrt{N}} [Φ (\frac{U_{μ} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}]}{\frac{σ_{y}}{\sqrt{N}} \sqrt{1 - ρ^{2}}}) - Φ (\frac{L_{μ} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}]}{\frac{σ_{y}}{\sqrt{N}} \sqrt{1 - ρ^{2}}})]

$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$

Ve buradan görebilirsiniz, hiçbir analitik çözüm mümkün değildir. Bununla birlikte, değerinin denklemlerden düşmediğini de belirtmek gerekir. Bu, verilerin ve önceki bilgilerin hala gerçek korelasyon hakkında söyleyecekleri bir şey olduğu anlamına gelir. Veriler korelasyon hakkında hiçbir şey söylemediyse , bu denklemlerde tek fonksiyonu olarak sadece ile bırakılırdık . $\rho$ $p(\rho)$ $\rho$

Ayrıca, için sonsuz sınırlar sınırına , karmaşık görünümlü normal CDF fonksiyonunda hakkındaki bazı bilgileri " " da gösterir . Şimdi çok fazla veriniz varsa, o zaman sınıra geçmek iyidir, çok fazla kaybetmezsiniz, ancak durumunuzda olduğu gibi çok az bilginiz varsa - sahip olduğunuz her notu saklamanız önemlidir. Bu çirkin matematik demektir, ancak bu örneğin sayısal olarak yapılması çok zor değildir. Biz entegre olasılığını değerlendirebilir Yani söz hakkından değerlerinde oldukça kolay. İntegralleri yeterince küçük aralıklarla özetlerle değiştirin - böylece üçlü bir toplamınız olur $\mu_y$ $\rho$ $\Phi(.)$ $\rho$ $-0.99,-0.98,\dots,0.98,0.99$

— probabilityislogic
kaynak

@ olasılık: Vay canına. Sadece vay canına. Bazı cevaplarınızı gördükten sonra gerçekten merak ediyorum: benim gibi bir doofus böyle esnek bir bayesci zihin durumuna ulaşmak için ne yapmalı?

— steffen

1

@steffen - lol. O kadar zor değil, sadece pratik yapman gerekiyor. Ve her zaman daima ürün ve toplam olasılık kurallarının ihtiyacınız olan tek kural olduğunu unutmayın . İster görsün, görsün, orada her türlü bilgiyi çıkarırlar. Yani ürün ve toplam kurallarını uyguluyorsunuz, sonra sadece matematik yapınız. Burada yaptığım tek şey bu.

— olasılık

@steffen - ve diğer kural - istatistiklerden daha matematiksel bir kural - hesaplamalarınızda çok erken bir limite geçmeyin, sonuçlarınız keyfi olabilir veya küçük ayrıntılar ortaya çıkabilir. Ölçüm hatası modelleri bunun mükemmel bir örneğidir (bu soru gibi).

— olasılık

@probabilityislogic: Teşekkür ederim, bunu aklımda tutacağım ... "Bayes Analizi" kopyam ile çalışmayı bitirir bitirmez).

— steffen

@probabilityislogic: Matematiksel olmayan bir istatistikçiyi / araştırmacıyı mizah edebilseydiniz ... Cevabınızı özetlemek veya bir grup dişhekimi, lise müdürü veya giriş istatistik öğrencisine çevirmek mümkün mü?

— rolando2

6

Sesqu ile bu durumda korelasyonun tanımsız olduğuna katılıyorum. Uygulama türünüze bağlı olarak, örneğin her iki vektör arasındaki Gower Benzerliğini hesaplayabilirsiniz: burada v2'de işlev olarak uygulanan kronecker- temsil eder . $gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$ $\delta$ $v1,v2$

Örneğin tüm değerler eşitse gower (.,.) = 1. Öte yandan sadece bir boyutta farklılık gösterirlerse, gower (.,.) = 0.9. Her boyutta farklılık gösterirlerse, gower (.,.) = 0 vb.

Tabii ki bu korelasyon için bir ölçü değildir, ancak s> 0 olan vektörün s = 0 olana ne kadar yakın olduğunu hesaplamanızı sağlar. Tabii ki amacınıza daha iyi hizmet ediyorlarsa diğer metrikleri de uygulayabilirsiniz.

— steffen
kaynak

+1 Bu yaratıcı bir fikir. Kulağa "Gower Benzerliği" ölçeklenmiş bir Hamming mesafesi gibi geliyor .

— whuber

@whuber: Gerçekten de öyle!

— steffen

0

Bu durumda korelasyon tanımsızdır. Eğer tanımlamanız gerekiyorsa, onu 0 olarak tanımlarım, ama bunun yerine basit bir ortalama mutlak fark düşünün.

— sesqu
kaynak

0

Bu soru programcılardan geliyor, bu yüzden sıfıra takmayı öneririm. Bir korelasyon kanıtı yoktur ve sıfır hipotezi sıfır olur (korelasyon yok). Bir bağlamda "tipik" bir korelasyon sağlayacak başka bağlam bilgisi olabilir, ancak kod başka bir bağlamda yeniden kullanılabilir.

— zbicyclist
kaynak

2

Korelasyon eksikliği olduğuna dair hiçbir kanıt yok , neden 1'i takmıyorsunuz? Veya -1? Yoksa arada bir şey var mı? Hepsi yeniden kullanılabilir kod!

— whuber

@whuber - veriler bağımsız olduğunda "daha az kısıtlanmış" olduğu için sıfıra bağlarsınız - bu nedenle kısıtlamalarda açıkça korelasyonlar belirtmediğiniz sürece maksimum dağılımlar bağımsızdır. Bu tür korelasyonları bilmediğinizde bağımsızlık muhafazakâr bir varsayım olarak görülebilir - etkili bir şekilde tüm olası korelasyonları ortalamanız gerekir .

— probabilityislogic

1

@Prob Tüm korelasyonlar üzerinde ortalamalamanın neden genel bir prosedür olarak mantıklı olduğunu soruyorum . Aslında bu prosedür, kesin ve muhtemelen oldukça yanlış cevabın yerine "sıfır!" doğru cevap için "veriler bize söylemiyor." Bu fark karar vermede önemli olabilir.

— whuber

Sorunun bir programcıdan gelmesi, tanımlanmamış bir değeri sıfıra dönüştürmeniz gerektiği anlamına gelmez. Sıfır, korelasyon hesaplamasında spesifik bir şey anlamına gelir. Bir istisna atın. Arayanın ne olması gerektiğine karar vermesine izin verin. Fonksiyonunuz bir korelasyon hesaplamalı, eğer hesaplanamazsa ne yapacağınıza karar vermemelidir.

— Jared Becksfort