# Bất đẳng thức Jensen: Trực giác hình học từ hàm lồi đến kỳ vọng xác suất


Trong toán học và xác suất, phép lấy trung bình (hay kỳ vọng toán học $\mathbb{E}$) là một toán tử tuyến tính mẫu mực. Nếu ta có một hàm tuyến tính $f(x) = ax + b$, việc áp dụng hàm trước rồi lấy trung bình hay lấy trung bình trước rồi áp dụng hàm luôn cho cùng một kết quả:

$$
f(\mathbb{E}[X]) = \mathbb{E}[f(X)].
$$

Tuy nhiên, thế giới tự nhiên và các mô hình thống kê hiếm khi tuyến tính. Khi $f$ là một hàm phi tuyến (như $x^2, e^x, \ln x$), câu hỏi căn bản xuất hiện: **$f(\mathbb{E}[X])$ và $\mathbb{E}[f(X)]$, đại lượng nào lớn hơn?**

Năm 1906, nhà toán học người Đan Mạch **Johan Jensen** đã đưa ra câu trả lời tổng quát cho bài toán này thông qua độ cong của hàm số: **Bất đẳng thức Jensen**. Đây là một trong những bất đẳng thức nền tảng nhất của giải tích hiện đại, là cội nguồn sinh ra hàng loạt bất đẳng thức kinh điển (như AM-GM, Hölder, Cauchy-Schwarz) và là trụ cột của lý thuyết thông tin, học máy Bayes và [thuật toán cây quyết định]({{< ref "/posts/math/stats/gini-impurity.md" >}}).

---

## 1. Trực giác hình học: Dây cung và Hàm lồi

Để hiểu vì sao bất đẳng thức Jensen xuất hiện, ta cần bắt đầu từ khái niệm hình học của **Hàm lồi** (*Convex Function*).

### Định nghĩa hàm lồi
Một hàm số $f: I \to \mathbb{R}$ xác định trên một khoảng $I \subseteq \mathbb{R}$ được gọi là **hàm lồi** nếu với mọi cặp điểm $x, y \in I$ và mọi trọng số $\lambda \in [0, 1]$, ta có:

$$
f(\lambda x + (1 - \lambda)y) \le \lambda f(x) + (1 - \lambda)f(y).
$$

Hãy phân tích ý nghĩa hình học của hai vế:

- Điểm $x_\lambda = \lambda x + (1 - \lambda)y$ là trung bình có trọng số giữa $x$ và $y$ trên trục hoành.
- **Vế trái $f(x_\lambda)$:** Là giá trị của hàm số tại điểm trung bình, nằm trên **đồ thị đường cong**.
- **Vế phải $\lambda f(x) + (1 - \lambda)f(y)$:** Là trung bình có trọng số của các giá trị hàm, nằm trên **đoạn dây cung** (*secant line*) nối hai điểm $(x, f(x))$ và $(y, f(y))$.

> **Ý nghĩa cốt lõi:** Đồ thị của một hàm lồi luôn nằm **phía dưới hoặc trùng** với đoạn dây cung nối hai điểm bất kỳ trên đồ thị đó.

Nếu $f$ có đạo hàm bậc hai trên $I$, điều kiện $f''(x) \ge 0$ là điều kiện cần và đủ để $f$ là hàm lồi.

### Hàm lõm (Concave Function)
Một hàm $f$ được gọi là **hàm lõm** nếu $-f$ là hàm lồi (ví dụ: $f(x) = \ln x, f(x) = \sqrt{x}$ hoặc hàm Gini $f(p) = 2p(1-p)$). Với hàm lõm ($f''(x) \le 0$), đồ thị luôn nằm **phía trên** dây cung, và bất đẳng thức đổi chiều:

$$
f(\lambda x + (1 - \lambda)y) \ge \lambda f(x) + (1 - \lambda)f(y).
$$

<div class="interactive-pane">
<link rel="stylesheet" href="/css/jensen-interactive.css?v=1">
<section class="jensen-card" id="jensen-lab" aria-labelledby="jensen-lab-title">
  <div class="jensen-head">
    <div>
      <p class="jensen-eyebrow">PHÒNG THÍ NGHIỆM HÌNH HỌC</p>
      <h3 id="jensen-lab-title">Dây cung, Tiếp tuyến tựa & Khoảng cách Jensen</h3>
    </div>
    <button type="button" class="jensen-button" data-action="play-lambda">Quét λ (0 → 1)</button>
  </div>
  <div class="jensen-controls">
    <div class="jensen-control">
      <span>Chọn hàm số</span>
      <select id="jensen-fn-select">
        <option value="square">1. f(x) = x² (Hàm lồi parabol)</option>
        <option value="exp">2. f(x) = eˣ (Hàm lồi mũ)</option>
        <option value="neg_log">3. f(x) = -ln(x) (Hàm lồi logarit âm)</option>
        <option value="log">4. f(x) = ln(x) (Hàm lõm - Đổi chiều)</option>
        <option value="gini">5. f(p) = 2p(1-p) (Hàm lõm Gini)</option>
      </select>
    </div>
    <div class="jensen-control">
      <span>Trọng số λ <output id="jensen-lambda-value" for="jensen-lambda-slider">50% (0.50)</output></span>
      <input type="range" id="jensen-lambda-slider" min="0" max="1" step="0.01" value="0.50">
    </div>
  </div>
  <div class="jensen-controls">
    <div class="jensen-control">
      <span>Điểm x₁ <output id="jensen-x1-value" for="jensen-x1-slider">-1.80</output></span>
      <input type="range" id="jensen-x1-slider" min="-2.5" max="2.5" step="0.05" value="-1.80">
    </div>
    <div class="jensen-control">
      <span>Điểm x₂ <output id="jensen-x2-value" for="jensen-x2-slider">1.60</output></span>
      <input type="range" id="jensen-x2-slider" min="-2.5" max="2.5" step="0.05" value="1.60">
    </div>
  </div>
  <div class="jensen-metrics" aria-live="polite">
    <div><span>Điểm TB E[X]</span><strong id="jensen-x-avg">—</strong></div>
    <div><span>Hàm tại TB f(E[X])</span><strong id="jensen-fn-avg" style="color: var(--jensen-point-fn);">—</strong></div>
    <div><span>TB của hàm E[f(X)]</span><strong id="jensen-avg-fn" style="color: var(--jensen-point-avg);">—</strong></div>
    <div><span>Độ lệch Jensen</span><strong id="jensen-gap" style="color: var(--jensen-curve);">—</strong></div>
  </div>
  <div class="jensen-canvas-wrap">
    <canvas id="jensen-canvas" role="img" aria-label="Đồ thị hàm lồi/lõm cùng dây cung và đường tiếp tuyến tựa minh họa bất đẳng thức Jensen"></canvas>
  </div>
  <div class="jensen-legend" aria-hidden="true">
    <span><i class="line-curve"></i>Đồ thị f(x)</span>
    <span><i class="line-secant"></i>Dây cung nối (x₁, f(x₁)) và (x₂, f(x₂))</span>
    <span><i class="line-tangent"></i>Tiếp tuyến tựa tại E[X]</span>
    <span><i class="point-fn"></i>f(E[X])</span>
    <span><i class="point-avg"></i>E[f(X)]</span>
  </div>
  <p class="jensen-hint">Kéo thanh trượt $\lambda$ để dịch chuyển điểm trung bình giữa $x_1$ và $x_2$. Quan sát đoạn thẳng đỏ nối giữa điểm trên đồ thị và điểm trên dây cung luôn có độ dài $\ge 0$.</p>
</section>
<script src="/js/jensen-interactive.js?v=1"></script>
<p class="jensen-caption"><i><b>Hình 1.</b> Với hàm lồi, điểm màu đỏ trên dây cung $E[f(X)]$ luôn nằm cao hơn hoặc bằng điểm màu xanh $f(E[X])$ trên đồ thị. Đường tiếp tuyến nét đứt tại $E[X]$ là công cụ để chứng minh bất đẳng thức chỉ trong hai dòng.</i></p>
</div>

---

## 2. Các dạng phát biểu của Bất đẳng thức Jensen

Bất đẳng thức Jensen mở rộng trực giác hai điểm ở trên cho $n$ điểm và cho biến ngẫu nhiên tổng quát:

### 1. Dạng rời rạc hữu hạn (Tổ hợp lồi $n$ điểm)
Cho $f: I \to \mathbb{R}$ là một hàm lồi. Với mọi bộ $n$ điểm $x_1, x_2, \ldots, x_n \in I$ và các trọng số không âm $\lambda_1, \lambda_2, \ldots, \lambda_n \ge 0$ thỏa mãn $\sum_{i=1}^n \lambda_i = 1$, ta có:

$$
f\left(\sum_{i=1}^n \lambda_i x_i\right) \le \sum_{i=1}^n \lambda_i f(x_i).
$$

### 2. Dạng Kỳ vọng Xác suất
Cho $X$ là một biến ngẫu nhiên nhận giá trị trong khoảng $I$ sao cho kỳ vọng $\mathbb{E}[X]$ và $\mathbb{E}[f(X)]$ tồn tại hữu hạn. Nếu $f$ là hàm lồi trên $I$, thì:

$$
f(\mathbb{E}[X]) \le \mathbb{E}[f(X)].
$$

Ngược lại, nếu $f$ là hàm lõm trên $I$:

$$
f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)].
$$

### Điều kiện xảy ra dấu bằng
Nếu $f$ là hàm lồi nghiêm ngặt (*strictly convex*), dấu đẳng thức $f(\mathbb{E}[X]) = \mathbb{E}[f(X)]$ xảy ra **khi và chỉ khi** $X$ là một biến ngẫu nhiên suy biến, tức là $X$ là một hằng số hầu chắc chắn:

$$
P(X = c) = 1.
$$

---

## 3. Chứng minh thanh lịch bằng Đường tiếp tuyến tựa

Có nhiều cách chứng minh bất đẳng thức Jensen (như quy nạp toán học theo $n$). Tuy nhiên, phương pháp sử dụng **đường tiếp tuyến tựa** (*supporting tangent*) là phương pháp ngắn gọn và mang tính trực quan hình học sâu sắc nhất.

### Tính chất tiếp tuyến của hàm lồi
Nếu $f: I \to \mathbb{R}$ là hàm lồi và khả vi tại điểm $x_0 \in I$, thì đồ thị của $f$ luôn nằm **phía trên mọi đường tiếp tuyến** của nó. Phương trình tiếp tuyến tại $x_0$ là $y = f(x_0) + f'(x_0)(x - x_0)$. Do đó:

$$
f(x) \ge f(x_0) + f'(x_0)(x - x_0), \qquad \forall x \in I.
$$

*(Ghi chú: Nếu $f$ không khả vi, ta thay đạo hàm $f'(x_0)$ bằng một dưới đạo hàm / subgradient bất kỳ $m \in \partial f(x_0)$).*

### Chứng minh chỉ trong 2 dòng:
1. Chọn điểm tiếp xúc $x_0 = \mathbb{E}[X]$. Khi đó bất đẳng thức tiếp tuyến đúng với mọi giá trị của biến ngẫu nhiên $X$:

$$
f(X) \ge f(\mathbb{E}[X]) + f'(\mathbb{E}[X])\big(X - \mathbb{E}[X]\big).
$$

2. Lấy kỳ vọng toán học $\mathbb{E}$ ở cả hai vế (lưu ý rằng $f(\mathbb{E}[X])$ và $f'(\mathbb{E}[X])$ là các hằng số số thực):

$$
\begin{aligned}
\mathbb{E}[f(X)] &\ge \mathbb{E}\left[f(\mathbb{E}[X]) + f'(\mathbb{E}[X])\big(X - \mathbb{E}[X]\big)\right] \\
&= f(\mathbb{E}[X]) + f'(\mathbb{E}[X])\underbrace{\mathbb{E}\big[X - \mathbb{E}[X]\big]}_{= 0} \\
&= f(\mathbb{E}[X]).
\end{aligned}
$$

Chứng minh hoàn tất! $\blacksquare$

---

## 4. "Gia phả" các bất đẳng thức sinh ra từ Jensen

Bất đẳng thức Jensen được mệnh danh là "mẹ của các bất đẳng thức" vì rất nhiều định lý quen thuộc chỉ là trường hợp riêng của Jensen khi chọn hàm lồi/lõm phù hợp:

### 1. Bất đẳng thức AM-GM (Trung bình cộng $\ge$ Trung bình nhân)
Xét hàm số $f(x) = \ln(x)$ trên $(0, \infty)$. Vì $f''(x) = -1/x^2 < 0$, $f$ là hàm lõm. Chọn các trọng số bằng nhau $\lambda_i = \frac{1}{n}$, theo bất đẳng thức Jensen cho hàm lõm:

$$
\ln\left(\frac{x_1 + x_2 + \cdots + x_n}{n}\right) \ge \frac{\ln(x_1) + \ln(x_2) + \cdots + \ln(x_n)}{n} = \ln\left(\sqrt[n]{x_1 x_2 \cdots x_n}\right).
$$

Lấy hàm mũ cơ số $e$ ở hai vế (hàm $e^x$ đồng biến), ta thu được ngay bất đẳng thức AM-GM kinh điển:

$$
\frac{x_1 + x_2 + \cdots + x_n}{n} \ge \sqrt[n]{x_1 x_2 \cdots x_n}.
$$

### 2. Mối quan hệ giữa Kỳ vọng và Phương sai
Xét hàm lồi $f(x) = x^2$ ($f''(x) = 2 > 0$). Áp dụng Jensen:

$$
(\mathbb{E}[X])^2 \le \mathbb{E}[X^2] \iff \operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \ge 0.
$$

Điều này giải thích một chân lý căn bản trong thống kê: **Phương sai của một biến ngẫu nhiên không bao giờ âm.**

### 3. Tính không âm của Độ phân kỳ Kullback-Leibler ($D_{\text{KL}} \ge 0$)
Trong Lý thuyết Thông tin, độ phân kỳ KL đo khoảng cách giữa hai phân phối xác suất $P$ và $Q$:

$$
D_{\text{KL}}(P \parallel Q) = \sum_{x} P(x) \ln\left(\frac{P(x)}{Q(x)}\right) = \mathbb{E}_P\left[-\ln\left(\frac{Q(X)}{P(X)}\right)\right].
$$

Vì hàm $f(t) = -\ln(t)$ là hàm lồi nghiêm ngặt, áp dụng Jensen:

$$
D_{\text{KL}}(P \parallel Q) \ge -\ln\left(\mathbb{E}_P\left[\frac{Q(X)}{P(X)}\right]\right) = -\ln\left(\sum_{x} P(x) \frac{Q(x)}{P(x)}\right) = -\ln\left(\sum_x Q(x)\right) = -\ln(1) = 0.
$$

Đây chính là **Định lý Gibbs** ($D_{\text{KL}} \ge 0$), bảo đảm rằng entropy chéo không bao giờ nhỏ hơn entropy của chính phân phối gốc.

### 4. Thuật toán EM và Chặn dưới bằng chứng (ELBO trong VAE)
Trong học máy hiện đại (như mô hình sinh VAE hay thuật toán Expectation-Maximization), việc tối ưu hóa trực tiếp hàm hợp lý biên $\ln p(x)$ là bất khả thi vì tích phân ẩn $z$ phức tạp. Bất đẳng thức Jensen cung cấp chiếc chìa khóa vàng:

$$
\ln p(x) = \ln \int p(x, z) \, dz = \ln \mathbb{E}_{q(z)}\left[\frac{p(x, z)}{q(z)}\right] \ge \mathbb{E}_{q(z)}\left[\ln \frac{p(x, z)}{q(z)}\right] = \text{ELBO}(q).
$$

Thay vì tối ưu hóa hàm logarit phức tạp ở ngoài kỳ vọng, máy học tối ưu hóa chặn dưới **ELBO** (*Evidence Lower Bound*) ở trong kỳ vọng.

### 5. Cơ chế phân nhánh trong Cây quyết định (Gini Gain $\ge 0$)
Trong thuật toán [CART]({{< ref "/posts/math/stats/gini-impurity.md" >}}), hàm [độ hỗn tạp Gini]({{< ref "/posts/math/stats/gini-impurity.md" >}}) $G(p) = 2p(1 - p)$ có đạo hàm bậc hai $G''(p) = -4 < 0$, nên $G(p)$ là một hàm lõm.

Khi chia nút cha $t$ thành hai nút con $L$ và $R$ với tỷ lệ trọng số $\frac{n_L}{n_t}$ và $\frac{n_R}{n_t}$, tỷ lệ lớp ở nút cha $p_t = \frac{n_L}{n_t} p_L + \frac{n_R}{n_t} p_R$. Theo Jensen cho hàm lõm:

$$
G(p_t) \ge \frac{n_L}{n_t} G(p_L) + \frac{n_R}{n_t} G(p_R) = G_{\text{sau}} \iff \Delta G = G(t) - G_{\text{sau}} \ge 0.
$$

Kết quả này là bảo chứng toán học rằng: **Mọi phép chia hợp lý không bao giờ làm tăng độ hỗn tạp kỳ vọng của cây!**

---

## 5. Tóm tắt

| Dạng thức | Biểu thức toán học | Điều kiện |
| :--- | :--- | :--- |
| **Hàm lồi** | $f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$ | $f''(x) \ge 0$ (Đồ thị nằm dưới dây cung) |
| **Hàm lõm** | $f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]$ | $f''(x) \le 0$ (Đồ thị nằm trên dây cung) |
| **Dấu đẳng thức** | $f(\mathbb{E}[X]) = \mathbb{E}[f(X)]$ | $X$ là hằng số hoặc $f$ là hàm tuyến tính |
| **Trực giác chứng minh** | Tiếp tuyến tựa: $f(x) \ge f(x_0) + f'(x_0)(x - x_0)$ | Lấy kỳ vọng hai vế tại $x_0 = \mathbb{E}[X]$ |

Bất đẳng thức Jensen là cầu nối tuyệt đẹp giữa giải tích hàm lồi thuần túy và lý thuyết xác suất ứng dụng. Việc thấu hiểu bản chất dây cung và tiếp tuyến tựa của Jensen giúp ta giải thích trực giác đằng sau các thuật toán học máy từ [Cây quyết định (Decision Tree)]({{< ref "/posts/math/stats/decision-tree.md" >}}), [Chỉ số Gini]({{< ref "/posts/math/stats/gini-impurity.md" >}}) đến các mô hình sinh xác suất hiện đại.

---

### Tài liệu tham khảo

- Johan L. Jensen (1906), *Sur les fonctions convexes et les inégalités entre les valeurs moyennes*, Acta Mathematica, 30: 175–193.
- Stephen Boyd, Lieven Vandenberghe (2004), [*Convex Optimization*](https://web.stanford.edu/~boyd/cvxbook/), Cambridge University Press (Chương 3: Convex Functions).
- Thomas M. Cover, Joy A. Thomas (2006), [*Elements of Information Theory*](https://onlinelibrary.wiley.com/doi/book/10.1002/047174882X), 2nd Edition, Wiley-Interscience.
- Walter Rudin (1987), [*Real and Complex Analysis*](https://www.mheducation.com/), 3rd Edition, McGraw-Hill (Chương 3: $L^p$-spaces and Jensen's Inequality).