Bir dağılımın düzensizliğini nasıl ölçer?

Çalıştığım bir deney için dağılımın tek biçimliliğini ölçmek için bir ölçüm bulmaya çalışıyorum. Çoğu durumda eşit olarak dağıtılması gereken rastgele bir değişkenim var ve değişkenin bazı sınırlar içinde eşit olarak dağıtılmadığı veri kümelerinin örneklerini tanımlayabiliyorum (ve derecesini ölçebiliyorum).

Her biri, ölçtüğüm bir şeyin meydana gelme sıklığını temsil eden 10 ölçümden oluşan üç veri serisine bir örnek şöyle olabilir:

a: [10% 11% 10%  9%  9% 11% 10% 10% 12%  8%]
b: [10% 10% 10%  8% 10% 10%  9%  9% 12%  8%]
c: [ 3%  2% 60%  2%  3%  7%  6%  5%  5%  7%]   <-- non-uniform
d: [98% 97% 99% 98% 98% 96% 99% 96% 99% 98%]

C gibi dağılımları a ve b gibi gruplardan ayırt edebilmek ve c'nin tek tip bir dağılımdan sapmasını ölçmek istiyorum. Aynı şekilde, bir dağılımın ne kadar tek biçimli olduğuna dair bir ölçüt varsa (sıfıra yakın std. Sapma?), Belki de bunu yüksek varyansa sahip olanları ayırt etmek için kullanabilirim. Ancak, verilerim yukarıdaki c örneği gibi yalnızca bir veya iki aykırı olabilir ve bunun kolayca tespit edilip edilmeyeceğinden emin değilim.

Bunu yazılımda yapacak bir şeyi hackleyebilirim, ancak bunu resmi olarak haklı çıkarmak için istatistiksel yöntemler / yaklaşımlar arıyorum. Yıllar önce ders aldım, ancak istatistikler alanım değil. Bu iyi bilinen bir yaklaşıma sahip olması gereken bir şeye benziyor. Bunlardan herhangi biri tamamen kemik başlıysa özür dilerim. Şimdiden teşekkürler!

Sadece frekanslarınız değil, gerçek sayımlarınız varsa, her veri serisi için uyumluluk testi kullanabilirsiniz . Özellikle testi ayrı bir düzgün dağılım için kullanmak istiyorsunuz . Bu size , hangi veri serilerinin tek tip bir dağıtım tarafından yaratılmadığını, ancak bir tekdüzelik ölçüsü sağlamadığını bulma imkanı veren iyi bir test sunar.$\chi^2$

Her serinin entropisini hesaplamak gibi başka olası yaklaşımlar da vardır - tekdüze dağılım entropiyi maksimuma çıkarır, böylece entropi şüpheli derecede düşükse, muhtemelen tekdüze bir dağılıma sahip olmadığınız sonucuna varırsınız. Bu, bir anlamda bir tekdüzelik ölçüsü olarak çalışır.

Diğer bir öneri , iki dağılımın benzerliğini ölçen Kullback-Leibler sapması gibi bir önlem kullanmak olacaktır .

@MansT'ın iyi fikirlerine ek olarak, başka önlemler de alabilirsiniz, ancak bu "tekdüzeliksizlik" ile ne kastettiğinize bağlıdır. Basit tutmak için, 4 seviyeye bakalım. Mükemmel homojenliğin tanımlanması kolaydır:

25 25 25 25

fakat aşağıdakilerden hangisi daha üniform değildir?

20 20 30 30 veya 20 20 25 35

ya da eşit olarak üniforma mı?

Eşit olarak eşit olmadıklarını düşünüyorsanız, normalden sapmaların mutlak değerlerinin toplamına dayanan bir ölçü kullanabilirsiniz, mümkün olan maksimum değere göre ölçeklendirilebilir. O zaman ilki 5 + 5 + 5 + 5 = 20 ve ikincisi 5 + 5 + 0 + 10 = 20'dir. Fakat ikincisinin daha üniform olmadığını düşünüyorsanız, kare sapmalara dayanarak bir şey kullanabilirsiniz. ilk önce 25 + 25 + 25 + 25 = 100, ikincisi 25 + 25 + 0 + 100 = 150 olur.

Here is a simple heuristic: if you assume elements in any vector sum to $1$ (or simply normalize each element with the sum to achieve this), then uniformity can be represented by L2 norm, which ranges from $\frac{1}{\sqrt d}$ to $1$, with $d$ being the dimension of vectors.

The lower bound $\frac{1}{\sqrt d}$ corresponds to uniformity and upper bound to the $1$-hot vector.

To scale this to a score between $0$ and $1$, you can use $\frac{n*\sqrt d - 1}{\sqrt d - 1}$, where $n$ is the L2 norm.

An example modified from yours with elements summing to $1$ and all vectors with the same dimension for simplicity:

0.10    0.11    0.10    0.09    0.09    0.11    0.10    0.10    0.12    0.08
0.10    0.10    0.10    0.08    0.12    0.12    0.09    0.09    0.12    0.08
0.03    0.02    0.61    0.02    0.03    0.07    0.06    0.05    0.06    0.05

The following will yield $0.0028$, $0.0051$, and $0.4529$ for the rows:

d=size(m,2); 
for i=1:size(m); 
    disp( (norm(m(i,:))*sqrt(d)-1) / (sqrt(d)-1) ); 
end

Stumbled upon this recently, and to add to the answer from @user495285, as far as I understand it:

When the values are normalized and sum to one, then the uniform distribution is the unit sphere in $\mathbb{R}^n$, and what is being calculated by using an $L_p$ norm is the deviation from the unit sphere using a distance measure of a given $p$, i.e. deviation from the uniform distribution in $\mathbb{R}^n$ with geometric distance measure $p$.

The $L_2$ norm places higher weight on large deviations from the unit sphere in any given dimension, whereas smaller values of $p$ place less weight on large deviations.

When the underlying distribution is the unit sphere, the numerator equals zero in the following equation:

I believe that the usefulness of geometric measures applies when each position (dimension) of the space described is assumed to be measured on equivalent scales, e.g. all counts of potentially equal distribution. The same assumptions underlying change of bases like PCA/SVD probably are similar here. But then again I'm no mathematician, so I'll leave that open to the more informed.