Jensen's Inequality (옌센 부등식) 설명

Jensen's Inequality는 요한 옌센이 발표한 부등식이고 "옌센 부등식"으로 읽는 것이 옳은 발음이다. 덴마크 원어로 J가 반모음으로 발음 되기 때문이다. 

 

Jensen's Inequality는 convex 함수의 기대값이 다음과 같은 성질을 따른다고 설명한다. 

 

$\varphi(\mathbb{E}[X]) \leq \mathbb{E}[\varphi(X)]$

 

자주 쓰이는데 헷갈릴 수 있어 우선 예시를 통해 살펴보자. X가 -1부터 1까지의 uniform 분포를 따르고, convex function은 $y = x^2$일 때를 생각해보자.

 

Uniform분포의 평균은 $\frac{a + b}{2}$이기에 아래와 같이 결과가 나오게 된다. 

 

$f(\mathbb{E}[X]) = f\left( \frac{a + b}{2} \right) = \left( \frac{0 + 0}{2} \right)^2 = 0$

 

 

 \(\mathbb{E}[f(x)]\)는 다음과 같이 계산된다:

\[
\mathbb{E}[X^2] = \int_{-1}^{1} x^2 \cdot \frac{1}{2} \, dx
\]

\[
\mathbb{E}[X^2] = \frac{1}{2} \int_{-1}^{1} x^2 \, dx
\]

\[
\int x^2 \, dx = \frac{x^3}{3}
\]

\[
\mathbb{E}[X^2] = \frac{1}{2} \left[ \frac{x^3}{3} \right]_{-1}^{1} = \frac{1}{2} \left( \frac{1^3}{3} - \frac{(-1)^3}{3} \right)
\]

\[
\mathbb{E}[X^2] = \frac{1}{2} \left( \frac{1}{3} - \frac{-1}{3} \right) = \frac{1}{2} \times \frac{2}{3} = \frac{1}{3}
\]

 \(\mathbb{E}[X^2] = \frac{1}{3}\)이다.

 

이걸 한 번 생각한 이후로 해당 예제의 $f(\mathbb{E}[X])$ 값은 0이고  \(\mathbb{E}[X^2]\)는 0보다 크다는 것을 직관적으로 떠올려 부등호의 방향이 헷갈리지 않는 것 같다.

 

Jensen 부등식의 수리적 증명은 아래와 같다.