Göreceli, normalleştirilmiş fayda işlevini pmf olarak ele alırken Shannon entropisinin veya Shannon bilgisinin yorumu nedir?

10

Diyelim ki , ayrı bir rastgele değişkenin birbirini dışlayan sonuçlarının bir kümesidir ve , , vb. $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

Tüm düzgün dağılmış ve a, olasılık yoğunluk fonksiyonu , Shannon entropi olup maximize ( ve bir elementin tüm kütlesine sahip olması durumunda, Shannon entropisi minimize edilir ( aslında ). Bu, sürpriz (veya belirsizlik azaltma ) ve sonuçlar ve belirsizlik (veya beklenen sürpriz ) ve rastgele değişkenler hakkındaki sezgilere karşılık gelir : $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

Ne zaman eşit dağıtılır, belirsizlik maksimize edilir ve kütle düzgün dağılmış olması için daha fazla sonucu vardır, daha belirsiz öyleyiz. $f$
Ne zaman tüm kütlesi bir sonuca konsantre olmuştur, hiçbir belirsizlik var. $f$
Bir sonuca olasılık atadığımızda, gerçekte gözlemlediğimizde hiçbir bilgi kazanmıyoruz ("şaşırtıcı değil"). $1$
Bir sonucu daha yakın ve daha yakın bir olasılık atadığımızda, bunun gerçekte gerçekleşen gözlemi gittikçe daha bilgilendirici olur ("şaşırtıcı"). $0$

(Bu, elbette Shannon bilgisinin / entropisinin çok daha somut ama daha az epistemik kodlama yorumu hakkında hiçbir şey söylemez.)

Bununla birlikte, bir fayda fonksiyonunun yorumuna sahip olduğunda , veya mantıklı bir yorumu var mı? ? Bana öyle geliyor ki: $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

bir PMF olarak üzerinde eşit bir dağılımı temsil ediyorsa , bir faydalı fonksiyon olarak , daha büyük olamayacak sonuçlar üzerindeki kayıtsızlığa karşılık gelir * $f$ $\Omega$ $f$
bir sonucun tüm faydaya ve geri kalanının hiçbirine sahip olmadığı bir fayda fonksiyonu (olabildiğince bir faydaya çarpık olarak) çok güçlü göreceli tercihlere karşılık gelir - kayıtsızlık eksikliği.

Bu konuda genişleyen bir referans var mı? Olasılık kütle fonksiyonlarının ve normalize edilmiş göreceli yardımcı programların ayrık rasgele değişkenler üzerinden karşılaştırılmasındaki sınırlamalar hakkında bir şey kaçırdım mı?

* Kayıtsızlık eğrilerinin farkındayım ve kategorik bir örnek alana odaklanmamdan ve kendiliğinden 'kayıtsızlıkla' ilgilenmiyorum olmasından başlayarak, çeşitli nedenlerle sorumla nasıl alakalı olabileceğini görmüyorum, daha ziyade, yardımcı programların olasılıklar olarak nasıl yorumlanacağı ve söz konusu (ayrık) 'olasılık dağılımı' fiilen veya (ek olarak) bir fayda fonksiyonunun yorumlanmasına sahip olduğunda, olasılıklar üzerindeki fonksiyonellerin nasıl yorumlanacağı.

— EM23
kaynak

Cevabım yok, ama sorunuz bana adil kek kesme probleminde entropi kullanmayı düşündürüyor: en.wikipedia.org/wiki/Fair_cake-cutting Standart model pastanın bir aralık olmasıdır [0, 1] ve aralıkta farklı normalize edilmiş değer ölçümlerine sahip ajan vardır . Önlemlerin atomik olmadığı varsayılır, ancak "entropileri" hakkında başka bir varsayım yoktur. Fayda fonksiyonlarının entropiyi sınırladığı kek kesme problemleri hakkında ne söyleyebileceğimizi düşünmek ilginç olabilir.

n

$n$

— Erel Segal-Halevi

3

Tartışmadan önce Shannon'ın entropisi, tartışılması gereken başka bir nokta daha vardır: görünüşe göre sıradan ziyade kardinal fayda var .

Her iki durumda da "normalleştirilmiş" fayda fonksiyonları türetilebilir. Ancak "göreceli tercih" kavramı sadece kardinal fayda bağlamında tanımlanabilir ve ölçülebilir.

Ve sorun, tanımladığınız iki uçta değil, tüm olası ara durumlarda ortaya çıkar.

Basit bir örnek: olmak üzere üç "sonuç" olduğunu varsayalım (örneğin, tüketim seviyeleri veya her biri bir miktar üç farklı mal). Yardımcı program işleviniz onlara değerler atandı $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

Ordinal fayda altında, bu bize sadece

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

Elbette bunları elde etmek için bölerek normalleştirebiliriz. $100$

ve üç sonucun sıralaması korunur

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Ancak sıralı yarar altında, atayabilecek başka bir yardımcı program işlevini çok iyi kullanabiliriz

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

ve elde et

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

$V$ $W$

$W$ $V$

Kardinal fayda ile ilgili sorunları biliyor musunuz?

— Alecos Papadopoulos
kaynak

V

$V$

U

$U$

3

Diğer cevabımda OP ile değiş tokuş ettikten sonra, biraz yaklaşımı ile çalışalım.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

desteğindeki değerler aynı zamanda gerçek değerli bir kardinal fayda fonksiyonundaki girdilerdir , . Daha sonra normalleştirilmiş fayda fonksiyonunu dikkate alıyoruz $X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

ve bize söylendi

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

Sadece sonlu alanın normalize edilmiş negatif olmayan bir ayrık fonksiyonunun, genel olarak bir olasılık kütle fonksiyonunun özelliklerini karşıladığını gözlemlemiyoruz - özellikle 'nin rastgele fonksiyonel formuna sahip olduğunu varsayıyoruz. değerleri girdi olarak alan değişken . $w(x_i)$ $w(x_i)$

Yana bir rastgele değişkenin bir ölçülebilir fonksiyon, bu da, rasgele bir değişkendir. Dolayısıyla, beklenen değeri gibi şeyleri anlamlı bir şekilde düşünebiliriz. Bilinçsiz İstatistikçi Yasası'nı kullanarak $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

Bu dışbükey bir işlevdir ve bunu kısıtı altında 'nin üzerinde aşırılaştırmaya çalışırsak kolayca elde ederiz $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

ve genel bir sonuç elde ettik:

Yukarıda tanımlandığı gibi normalleştirilmiş faydalı fonksiyon, dağılımı Tekdüze olduğunda beklenen minimum değere sahiptir . $X$

Açıkçası böyle bir durumda sabit bir fonksiyon , ve sıfır varyans ile dejenere rastgele bir değişken olacaktır . $w(X)$ $E[w(X)]=1/k$

OP'nin odağı olan Shannon'ın Entropisine dönelim. Hesaplamak için, Shannon'ın Entropy'sinin rastgele değişkenin olasılık kütle fonksiyonuna ihtiyacı var ... bu yüzden rastgele değişkenin PMF'sini bulmalıyız ... $w(X)$

Ama benim izlenimim bu OP'nin aklında olan şey değil. Aksine, Shannon'ın Entropisini, arzu edilen bazı cebirsel özelliklere sahip olan ve belki de ilgi çekici bir şeyi kompakt bir şekilde ölçebilen bir metrik olarak görür.

Bu daha önce İktisatta, özellikle Endüstriyel Organizasyonda, Pazar Konsantrasyonu Endeksleri ("bir pazarın rekabet derecesi / tekelci yapısı") oluşturulmuştu. Burada özellikle alakalı görünen iki tane not ediyorum.

A) Herfindahl Endeksi, bağımsız değişkenler olarak pazar paylarını sahiptir pazar, faaliyet gösteren şirketlerin onlar inşaat tarafından birlik toplamı böylece. Ölçeklendirilmemiş sürümü $n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

bu yukarıda beklenen ' un beklenen değeri ile tam olarak aynı yapıya sahip bir ifadedir . $w(X)$

B) Entropi Endeksi Shannon Entropi ile kesin matematiksel formuna sahip olduğu.

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D. ve Jacquemin, A. (1980). Tekel derecesi, konsantrasyon endeksleri ve giriş tehdidi. Uluslararası Ekonomik İnceleme, 87-105. "izin verilebilir" konsantrasyon indekslerinin aksiyomatik bir türevini sağlarlar, yani böyle bir indeksin sahip olması gereken özellikleri tanımlarlar. Yaklaşımları soyut olduğu için, OP'nin anlamayı araştırmak ve eklemek istediği şey için yararlı olabileceğine inanıyorum.

— Alecos Papadopoulos
kaynak

1

Fayda işlevi burada sadece kardinal değil, aynı zamanda bir oran ölçeğinde tanımlanmıştır. 1/4 ve 3/4 yardımcı programları ile iki sonucu düşünün. Açıkçası, afin dönüşümünü uygulayabiliriz: bu durumda yardımcı programlar 0 ve 1 olur. Ancak, şimdi entropiyi kesinlikle pozitif bir değerden sıfıra değiştirdik! $v=v*2-0.5$

Bu nedenle, önce hizmet programınıza anlamlı bir oran ölçeği sağlamanız gerekir. Bunu yapmanın bir yolu doğal 0 kullanım seviyesine bir yorum vermektir. Bu şartname olmadan entropi anlamsızdır.

— Hrse
kaynak