İlgili Sınır

Eğer $f$ o zaman bir konveks fonksiyonu Jensen eşitsizliği devletler $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ ve gerekli değişiklikler yapılmış olarak $f$ içbükeydir. Açıkça en kötü durumda üst bağlı olamaz $\textbf{E}[f(x)]$ cinsinden $f(\textbf{E}[x])$ dışbükey için $f$ , ama orada bu yönde gider bağlanmış $f$ dışbükey ama "çok dışbükey" değil mi? dışbükey işlevinde şartlar sağlayan bazı standart bir sınır var mı $f$ (ve eğer gerekliyse muhtemelen dağıtımı da), $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ , burada $\varphi(f)$ dışbükey eğriliği / derece bir fonksiyonudur $f$ ? Belki de bir Lipschitz durumuna benzer bir şey?

randomness pr.probability randomized-algorithms

— Ian
kaynak

Konu dışı olarak kapatmak için oy kullanma. math.stackexchange.com belki de?

— Aryabhata

Bu sorunun açık kalması gerektiğini düşünüyorum; bu, birçok çalışma teorisyeninin düzenli olarak yararlı bulacağı bir tür eşitsizliktir.

— Aaron Roth

Bunun şimdiye kadar gönderilen soruların çoğundan daha matematiğe daha yakın olduğunu biliyorum, ancak rastgele algoritmaların analizinde sık sık rastlandığım için bu konunun açık olduğunu iddia ediyorum. Zihin). Bilgisayar biliminde yoğun olarak kullanılan matematiğin sorular için adil bir oyun olarak kabul edilmesi gerektiğini düşünüyorum.

— Ian

açık tutmak için oy verin. kesinlikle konuyla ilgili

— Suresh Venkat

Ayrıca açık kalmak için oy kullanırım.

— Jeffε

EDIT: orijinal sürüm mutlak bir değeri kaçırdı. üzgünüm!!

Selam Ian. Kısaca, biri Lipschitz bağımlı, diğeri ikinci türevdeki bir bağ kullanan iki örnek eşitsizliğini özetleyeceğim ve daha sonra bu problemdeki bazı zorlukları tartışacağım. Gereksiz olmakla birlikte, bir türev kullanan bir yaklaşım, daha fazla türevle (Taylor yoluyla) neler olduğunu açıkladığından, ikinci türev versiyonunun oldukça iyi olduğu ortaya çıktı.

Birincisi, bir Lipschitz ciltli: basitçe standart Jensen eşitsizliğini yeniden çalışın. Aynı numara geçerlidir: Taylor genişlemesini beklenen değerde hesapla.

Spesifik olarak, Let karşılık gelen adres ölçü ve resim . Eğer Lipschitz sabiti vardır Taylor'un teoremi tarafından daha sonra, $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

olduğu yerlerde ( ve mümkün olduğuna dikkat edin ). Bunu kullanmak ve Jensen ispatı tekrar çalışmak (Ben paranoyak ve standart bir gerçekten wikipedia'da olduğunu kontrol ettim), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Şimdi, varsayalım . Bu durumda, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{"} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

ve bu yüzden

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Birkaç şeyden kısaca bahsetmek istiyorum. Açıksa üzgünüm.

Bir o, sen sadece diyemeyiz olan "wlog " Sen arasındaki ilişkiyi değişiyor çünkü, dağıtım kaydırarak ve . $\operatorname{E}(X) = 0$ $f$ $\mu$

Sonraki, sınırın bir şekilde dağılıma bağlı olması gerektiğidir . Bunu görmek için, ve olduğunu hayal edin . değeri ne olursa olsun, yine de elde edersiniz. $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ . Öte yandan, $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ . Böylece, değiştirerek , iki miktar arasındaki boşluğu isteğe bağlı olarak yapabilirsiniz! Sezgisel olarak, ortalamadan daha fazla kütle itilir ve bu nedenle, herhangi bir kesinlikle dışbükey işlev için, artar. $\sigma$ $\operatorname{E} (f(X))$

Son olarak, önerdiğiniz gibi çarpımcılığa nasıl bağlanacağımı anlamıyorum. Bu gönderide kullandığım her şey standart: Taylor teoremi ve türev sınırları, istatistik sınırlarında ekmek ve tereyağıdır ve çarpma hataları değil, otomatik olarak katkı sağlar.

Yine de düşüneceğim ve bir şey yollayacağım. Belirsiz sezgi, hem fonksiyon hem de dağılım için çok zorlu koşullara ihtiyaç duyacağı ve ilave bağın gerçekte bunun merkezinde olduğu anlamına gelir.

— matus
kaynak

Her düzenlediğimde cevap çarptı. Bu yüzden şunu işaret edeceğim: ikinci türev sınırı, verdiğim örnek için sıkı.

— matus

Bence, hakkınızdaki daha güçlü koşullar olmadan ilave sınırların mümkün olan en iyisi olduğunuzu düşünüyorum.

— Ian,

Sevgili Ian, bu problemi biraz daha düşündüm, ama aklımdaki asıl zorluk, verdiğim örnekle ima ediyor,

, fakat

f (E (X)) = 0

$f(\textrm E(X))= 0$

. Hem fonksiyon ailesini (sınırlı, sınırlı türevler, bütünleştirilebilir) hem de dağılımı (düzgün, sınırlı, sınırlı anlar) sınırlandırabilir ve hala bu örneklere sahipsiniz. Dağılımın ortasında sıfıra eşit simetrik, negatif olmayan bir işleve sahip olmak yeterlidir. Bununla birlikte, her şey sizin probleminizdeki kısıtlamalara bağlıdır. Genel durumda, katkı yapısının temel olduğunu düşünüyorum.

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian: Chernoff ve Azuma-Hoeffding eşitsizliklerinin ispatları bunu hatırlatan argümanları kullanıyor, bu nedenle ilham almak için bunları okumak isteyebilirsiniz. Mitzenmacher ve Upfal'ın bilgisayardaki randomizasyon konusundaki kitabına bakınız.

— Warren Schudy

İçgörü için, iki değer üzerinde yoğunlaşmış bir dağıtım düşünün; diyelim ki, 1/2 eşit olasılıkları 1 veya 3'e eşit, bu nedenle . Al ve . İşlevlerini göz önünde olan ve . Yaparak $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ yeterince küçük ve bağlantı bu üç nokta arasında sürekli olarak biz eğriliğini yapabilir istenen kadar küçük. Sonra $\epsilon$ $f$ $f$

, henüz $\textbf{E}[f(x)] = N\epsilon$

. $N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$

Bu gösterir keyfi olarak büyük olması gerektiğini. $\varphi(f)$

— whuber
kaynak