GINI skoru ile log-olabilirlik oranı arasındaki ilişki nedir?

Sınıflandırma ve regresyon ağaçlarını inceliyorum ve ayrık konum için alınacak önlemlerden biri GINI puanı.

Şimdi iki dağıtım arasında aynı verinin olabilirlik oranının günlüğü sıfır olduğunda en iyi bölünme konumunu belirlemeye alışkınım, yani üyelik olasılığının eşit olması muhtemel.

Sezgim, GINI'nin matematiksel bir bilgi teorisinde iyi bir temele sahip olması gerektiğini (Shannon) bir tür bağlantı olması gerektiğini söylüyor, ancak ilişkiyi kendim türetecek kadar iyi anlamıyorum.

Sorular:

GINI safsızlık skorunun bölünme önlemi olarak "ilk prensipler" türevi nedir?
GINI skoru, olasılık oranı ya da diğer bilgi teorik temelleri ile nasıl ilişkilidir (Shannon Entropy, pdf ve cross entropy, bunların bir parçasıdır)?

Referanslar:

Shannon'un entropisi şöyle tanımlanır:

'H (x) = Σ_{ben} P (x_{ben}) {günlük}_{b} P (x_{ben})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

Bunu çok değişkenli duruma genişletiyoruz:

'H (X, Y) = Σ_{x} Σ_{y} P (x, y) {günlük}_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

Koşullu Entropi şu şekilde tanımlanır:

\begin{aligned} 'H (X | Y) & = Σ_{y} p (x, y) {günlük}_{b} \frac{p (x)}{p (x, y)} \\ veya, \\ 'H (X | Y) & ='H (X, Y) -'H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

Olasılık oranının günlüğü, ani değişiklik tespiti için kullanılır ve bunlar kullanılarak elde edilir. (Önümde türetme yok.)

GINI Kirlilik:

GINI kirliliğinin genel şekli $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

Düşünceler:

Bölünme, bir kirlilik ölçüsünde yapılır. Yüksek "saflık" muhtemelen düşük entropi ile aynıdır. Yaklaşım entropi minimizasyonu ile ilgilidir.
Varsayılan temel dağılımın tek tip veya muhtemelen el sallayarak Gaussian olması muhtemeldir. Muhtemelen dağıtımların bir karışımını yapıyorlar.
Shewhart grafik türetme burada geçerli olabilir mi merak ediyorum?
GINI Impurity, 2 deneme ve bir başarı ile binom dağılımı için olasılık yoğunluğu fonksiyonunun ayrılmaz bir parçası gibi gözüküyor. $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(ek)

Form aynı zamanda bir Hipergeometrik dağılım için bir konjugat olan bir Beta-binom dağılımı ile de tutarlıdır. Hipergeometrik testler sıklıkla, bir numunede hangi numunelerin altında veya altında olduğunu belirlemek için kullanılır. Fisher'ın kesin testiyle de bir ilişki var, her neyse (kendime dikkat edin, bu konuda daha fazla bilgi edinin).

Düzenleme: Dijital mantık ve / veya rb ağaçları ile çok iyi çalışan bir GINI formu olduğundan şüpheleniyorum. Bunu bu sonbaharda bir sınıf projesinde keşfetmeyi umuyorum.

— EngrStudent - Monica'yı yeniden yerleştir
kaynak

Kendi soruma cevap vermem sorun olur mu?

— EngrStudent - Monica,

Hayır, hiç de değil. Makul bir cevap olduğunu düşündüğünüz bir şey yaptıysanız, ateş edin.

— gung - Monica 'ya geri dönün

@EngrStudent. Eğer referanslar bölümünde sağlayan iyi bir soru ama ilk bağlantı CART kullanılan Gini ölçüsü ile ilgisi yoktur Gini katsayısı ilgilidir

— Antoine

Gini endeksi ile ilgili olarak sadece basit bir yorum gönderdim: stats.stackexchange.com/questions/308885/…

— Picaud Vincent 24:17

Yanıtlar:

Burada kullandığımla aynı gösterimi kullanacağım: Sınıflandırma ve regresyon ağaçlarının arkasındaki matematik

Gini Kazancı ve Bilgi Kazancı ( ) hem kirlilik bazlı bölme kriterleridir. Tek fark kirlilik fonksiyonunda : $IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

$\beta$

{'H}_{β} (E) = \frac{1}{β - 1} (1 - Σ_{j = 1}^{c} p_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ $\beta = 2$ $H$ $\beta \rightarrow 1$

$G$

G, -statistic = 2 \cdot | E | \cdot ben G,

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

Topluluğa bağlı olarak (istatistik / veri madenciliği) insanlar bir ölçüyü veya diğerini tercih eder ( Burada ilgili soru ). Karar ağacı indüksiyon sürecinde hemen hemen aynı olabilirler. Günlük olasılığı, çok sayıda sınıf olsa bile, dengeli bölümlere daha yüksek puanlar verebilir [Teknik Not: Kritik Kriterlerin Bazı Özellikleri. Breiman 1996].

Gini Gain daha iyi olabilir çünkü logaritmaları yoktur ve rasgele bölünmüş varsayım altında beklenen değeri ve varyansı için kapalı formu bulabilirsiniz [Alin Dobra, Johannes Gehrke: Sınıflandırma Ağacı Yapımında Önyargı Düzeltme. ICML 2001: 90-97]. Bilgi Kazanımı için kolay değildir (Eğer ilgileniyorsanız, buraya bakınız ).

— Simone
kaynak

İyi soru. Ne yazık ki henüz yorum yapmak veya yorum yapmak için yeterli bir itibarım yok, bu yüzden bunun yerine cevap!

Oran testine pek aşina değilim, ancak iki (veya daha fazla) farklılıktan kaynaklanan verilerin olasılığını karşılaştırmak için kullanılan bir formalizm olduğu dikkatimi çekti dağılımdan vurguluyor, Gini katsayısı ise tek bir dağılımın özet istatistiği.

Gini katsayısını (IMO) düşünmenin faydalı bir yolu Lorenz eğrisinin altındaki alandır. (cdf ile ilgili).

Entropi için OP'de verilen tanımı kullanarak Shannon'ın entropisini Gini ile eşitlemek mümkün olabilir:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

ve Gini tanımı:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ $x_i$ ).

Yine de kolay bir iş gibi görünmüyor!

— Cebrail
kaynak

Aynı verilerde bir log olabilirlik oranı kullanılır. Dağılımlardan biri diğerinin aynısı olabilir, ancak bazı kriterlerin doğru olduğu durumlarda parametreleri verilere uyarlanmıştır. Örneğin, parametreleri sağlıklı üretim süreci varyasyonunu tanımlayan bir dağıtım (zorunlu olarak Gaussian değil) ve mevcut üretim süreci değerlerine uygun olan bir dağıtımınız olabilir ve her ikisinin de geçerli üretim süreci değerleri üzerinde çalışarak log olasılığı oranını gösteren bir eşik değeriyle karşılaştırabilirsiniz. gezi imkanı. İdeal ile karşılaştırılmak için gerçek olabilir.

— EngrStudent - Monica'yı