# Vì Sao Ước Lượng Hợp Lý Cực Đại (MLE) Chạm Tới Chặn Cramér-Rao Khi Mẫu Lớn?


Trong thống kê suy diễn, [Bất đẳng thức Cramér-Rao (CRLB)]({{< ref "cramer-rao-bound.md" >}}) đặt ra một giới hạn lý thuyết tối hậu: không một ước lượng không chệch nào có thể đạt phương sai nhỏ hơn nghịch đảo của [Thông tin Fisher]({{< ref "fisher-information.md" >}}):

$$
\operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}.
$$

Nhưng CRLB chỉ là một chặn dưới lý thuyết. Câu hỏi đặt ra là: **Làm thế nào để tìm được một phương pháp ước lượng tổng quát có thể chạm tới giới hạn lý tưởng này?**

Câu trả lời vĩ đại của Ronald Fisher chính là **Ước lượng Hợp lý Cực đại (*Maximum Likelihood Estimation - MLE*)**. Ở các kích thước mẫu hữu hạn ($n$ nhỏ), MLE có thể bị chệch và chưa đạt CRLB. Nhưng khi kích thước mẫu tăng dần ra vô hạn ($n \to \infty$), MLE chạm tới chặn dưới Cramér-Rao một cách kỳ diệu.

Bài viết này đi sâu vào cơ chế giải tích đằng sau hiện tượng tiệm cận đó: từ phương trình hợp lý, khai triển Taylor của Score Function, cho đến sự kết hợp hoàn hảo giữa Định lý Giới hạn Trung tâm (CLT) và Luật Số Lớn (LLN).

---

## 1. Ước lượng Hợp lý Cực đại (MLE) được thiết lập như thế nào?

Xét một mẫu ngẫu nhiên gồm $n$ quan sát độc lập, cùng phân phối $X_1, X_2, \dots, X_n$ từ hàm mật độ xác suất hoặc hàm khối xác suất $f(x; \theta)$, với $\theta \in \Theta \subseteq \mathbb{R}$ là tham số thực cần ước lượng.

Hàm hợp lý (*Likelihood*) của mẫu dữ liệu là:
$$
L_n(\theta) = \prod_{i=1}^n f(X_i; \theta).
$$

Do [tính chất biến tích thành tổng của logarit]({{< ref "why-information-uses-log.md" >}}), ta chuyển sang hàm log-likelihood:
$$
\ell_n(\theta) = \ln L_n(\theta) = \sum_{i=1}^n \ln f(X_i; \theta).
$$

**Ước lượng Hợp lý Cực đại $\hat{\theta}_{\text{MLE}}$** là giá trị của $\theta$ tối đa hóa hàm log-likelihood:
$$
\hat{\theta}_{\text{MLE}} = \arg\max_{\theta \in \Theta} \ell_n(\theta).
$$

Tại điểm cực trị trong phần trong của miền tham số $\Theta$, đạo hàm bậc nhất của $\ell_n(\theta)$ — tức tổng các **Score Function** của từng quan sát — phải triệt tiêu:

$$
S_n(\hat{\theta}_{\text{MLE}}) = \sum_{i=1}^n S(X_i; \hat{\theta}_{\text{MLE}}) = \sum_{i=1}^n \frac{\partial}{\partial \theta} \ln f(X_i; \hat{\theta}_{\text{MLE}}) = 0.
$$

Phương trình này được gọi là **phương trình hợp lý (*likelihood equation*)**.

---

## 2. Trong mẫu hữu hạn, vì sao MLE chưa hẳn đã "hoàn hảo"?

Rất nhiều người lầm tưởng rằng MLE luôn là ước lượng tốt nhất trong mọi tình huống. Trên thực tế, ở các mẫu hữu hạn ($n$ nhỏ):

1. **MLE có thể bị chệch (*biased*):**
   Ví dụ kinh điển là ước lượng phương sai $\sigma^2$ của phân phối chuẩn $\mathcal{N}(\mu, \sigma^2)$ khi chưa biết $\mu$:
   $$
   \hat{\sigma}^2_{\text{MLE}} = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2.
   $$
   Kỳ vọng của nó là:
   $$
   \mathbb{E}\left[\hat{\sigma}^2_{\text{MLE}}\right] = \frac{n - 1}{n} \sigma^2 \neq \sigma^2.
   $$
   Nó luôn đánh giá thấp phương sai thực tế một lượng $-\frac{\sigma^2}{n}$.

2. **MLE không nhất thiết đạt chặn CRLB ở mẫu nhỏ:**
   Trừ một số trường hợp đặc biệt thuộc họ hàm mũ (như ước lượng kỳ vọng $\mu$ của phân phối chuẩn bằng $\bar{X}$), phần lớn các ước lượng MLE ở kích thước mẫu hữu hạn đều có phương sai lớn hơn $\frac{1}{n I(\theta)}$.

Tuy nhiên, sức mạnh tối thượng của MLE chỉ thực sự bộc lộ khi **mẫu dữ liệu đủ lớn**.

---

## 3. Định lý tiệm cận chuẩn của MLE phát biểu điều gì?

Giả sử mô hình thỏa mãn các **điều kiện chính quy (*regularity conditions*)**:
1. Tham số thực sự $\theta_0$ nằm trong phần trong của miền tham số $\Theta$.
2. Tập hỗ trợ $\operatorname{supp}(f)$ không phụ thuộc vào $\theta$.
3. Hàm $f(x; \theta)$ khả vi ba lần theo $\theta$, và các đạo hàm bị chặn bởi các hàm khả tích.
4. Thông tin Fisher dương và hữu hạn: $0 < I(\theta_0) < \infty$.

Khi đó, khi kích thước mẫu $n \to \infty$, ước lượng $\hat{\theta}_{\text{MLE}}$ thỏa mãn **Định lý Tiệm cận Chuẩn (*Asymptotic Normality of MLE*)**:

$$
\sqrt{n} \left( \hat{\theta}_{\text{MLE}} - \theta_0 \right) \xrightarrow{d} \mathcal{N}\left(0, \frac{1}{I(\theta_0)}\right).
$$

Hay viết dưới dạng phân phối gần đúng trong thực hành với mẫu lớn:

$$
\hat{\theta}_{\text{MLE}} \stackrel{\text{approx}}{\sim} \mathcal{N}\left(\theta_0, \frac{1}{n I(\theta_0)}\right).
$$

Định lý này khẳng định ba phẩm chất tiệm cận vàng của MLE:
- **Tính vững (*Consistency*):** $\hat{\theta}_{\text{MLE}} \xrightarrow{P} \theta_0$ khi $n \to \infty$.
- **Tiệm cận không chệch (*Asymptotically Unbiased*):** Độ chệch triệt tiêu với tốc độ $\mathcal{O}(1/n)$.
- **Tiệm cận hiệu quả (*Asymptotically Efficient*):** Phương sai tiệm cận thu hẹp về đúng $\frac{1}{n I(\theta_0)}$, chạm khít chặn dưới Cramér-Rao!

---

## 4. Làm sao chứng minh MLE đạt chặn Cramér-Rao qua khai triển Taylor?

Chứng minh vẻ đẹp này là một trong những cột mốc tinh tế nhất của thống kê toán học, xuất phát từ ý tưởng của Ronald Fisher.

### Bước 1: Khai triển Taylor của Score Function

Vì $\hat{\theta}$ là nghiệm của phương trình hợp lý, ta có:
$$
S_n(\hat{\theta}) = 0.
$$

Thực hiện khai triển Taylor bậc nhất của hàm $S_n(\theta)$ quanh giá trị thực $\theta_0$:
$$
0 = S_n(\hat{\theta}) = S_n(\theta_0) + S'_n(\tilde{\theta}) \left( \hat{\theta} - \theta_0 \right),
$$
trong đó $\tilde{\theta}$ là một điểm nằm giữa $\hat{\theta}$ và $\theta_0$.

### Bước 2: Biểu diễn sai số ước lượng

Chuyển vế phương trình trên để rút ra sai số $\hat{\theta} - \theta_0$:
$$
\hat{\theta} - \theta_0 = \frac{S_n(\theta_0)}{-S'_n(\tilde{\theta})}.
$$

Nhân cả hai vế với $\sqrt{n}$ để chuẩn hóa tốc độ hội tụ:
$$
\sqrt{n} \left( \hat{\theta} - \theta_0 \right) = \frac{\frac{1}{\sqrt{n}} S_n(\theta_0)}{-\frac{1}{n} S'_n(\tilde{\theta})}.
$$

Ta thấy vế phải là một phân số gồm hai phần:
- **Tử số:** $\frac{1}{\sqrt{n}} S_n(\theta_0)$ (độ dốc log-likelihood tại điểm thực).
- **Mẫu số:** $-\frac{1}{n} S'_n(\tilde{\theta})$ (độ cong trung bình của log-likelihood).

### Bước 3: Phân tích mẫu số theo Luật Số Lớn (LLN)

Đạo hàm của Score Function chính là đạo hàm bậc hai của log-likelihood:
$$
S'_n(\theta) = \sum_{i=1}^n \frac{\partial^2}{\partial \theta^2} \ln f(X_i; \theta).
$$

Vì $\hat{\theta} \xrightarrow{P} \theta_0$, điểm kẹp $\tilde{\theta}$ cũng hội tụ theo xác suất về $\theta_0$. Áp dụng Luật Số Lớn Dạng Yếu (WLLN):
$$
-\frac{1}{n} S'_n(\tilde{\theta}) \xrightarrow{P} -\mathbb{E}\left[ \frac{\partial^2}{\partial \theta^2} \ln f(X; \theta_0) \right].
$$

Nhưng theo [định nghĩa Thông tin Fisher từ độ cong log-likelihood]({{< ref "fisher-information.md" >}}):
$$
-\mathbb{E}\left[ \frac{\partial^2}{\partial \theta^2} \ln f(X; \theta_0) \right] = I(\theta_0).
$$

Do đó, mẫu số hội tụ theo xác suất về đúng hằng số $I(\theta_0)$:
$$
-\frac{1}{n} S'_n(\tilde{\theta}) \xrightarrow{P} I(\theta_0).
$$

### Bước 4: Phân tích tử số theo Định lý Giới hạn Trung tâm (CLT)

Tử số là trung bình chuẩn hóa của $n$ biến ngẫu nhiên độc lập:
$$
\frac{1}{\sqrt{n}} S_n(\theta_0) = \frac{1}{\sqrt{n}} \sum_{i=1}^n S(X_i; \theta_0).
$$

Nhớ lại các tính chất nền tảng của Score Function:
- Kỳ vọng bằng $0$: $\mathbb{E}[S(X_i; \theta_0)] = 0$.
- Phương sai bằng Thông tin Fisher: $\operatorname{Var}(S(X_i; \theta_0)) = I(\theta_0)$.

Theo Định lý Giới hạn Trung tâm cổ điển (Lindeberg-Lévy CLT):
$$
\frac{1}{\sqrt{n}} \sum_{i=1}^n S(X_i; \theta_0) \xrightarrow{d} \mathcal{N}\left(0, I(\theta_0)\right).
$$

### Bước 5: Kết hợp qua Định lý Slutsky

Bây giờ ta ghép tử số và mẫu số lại:
- Tử số hội tụ theo phân phối về $\mathcal{N}(0, I(\theta_0))$.
- Mẫu số hội tụ theo xác suất về hằng số xác định $I(\theta_0) > 0$.

Theo **Định lý Slutsky**, thương số sẽ hội tụ về:
$$
\sqrt{n}\left( \hat{\theta} - \theta_0 \right) \xrightarrow{d} \frac{\mathcal{N}(0, I(\theta_0))}{I(\theta_0)} = \mathcal{N}\left(0, \frac{I(\theta_0)}{[I(\theta_0)]^2}\right) = \mathcal{N}\left(0, \frac{1}{I(\theta_0)}\right).
$$

Chứng minh hoàn tất!

> [!TIP] Trực giác cốt lõi của phép chứng minh
> Đại lượng $\frac{1}{I(\theta_0)}$ không tự nhiên xuất hiện. Nó là kết quả của sự triệt tiêu:
> $$
> \frac{\text{Biến động của độ dốc (phương sai } I(\theta_0)\text{)}}{\left[\text{Độ cong trung bình } I(\theta_0)\right]^2} = \frac{I(\theta_0)}{[I(\theta_0)]^2} = \frac{1}{I(\theta_0)}.
> $$
> Khi độ cong của bề mặt likelihood càng nhọn ($I(\theta)$ càng lớn), mẫu số nén sai số co lại càng mạnh, khiến ước lượng hội tụ về giá trị thực với phương sai cực kỳ nhỏ.

---

## 5. Tính tiệm cận này mang lại những ứng dụng thực tiễn nào?

Nhờ định lý tiệm cận chuẩn, MLE không chỉ là công cụ tính toán điểm (*point estimate*) mà còn là nền móng cho toàn bộ suy diễn thống kê tiệm cận:

### 5.1. Xây dựng khoảng tin cậy tiệm cận (Wald Confidence Interval)
Với mức tin cậy $1 - \alpha$, khoảng tin cậy cho tham số $\theta$ được viết trực tiếp:
$$
\hat{\theta}_{\text{MLE}} \pm z_{\alpha/2} \frac{1}{\sqrt{n I(\hat{\theta}_{\text{MLE}})}}.
$$
Đại lượng $\operatorname{SE}(\hat{\theta}) = \frac{1}{\sqrt{n I(\hat{\theta})}}$ chính là **sai số chuẩn tiệm cận (*asymptotic standard error*)**.

### 5.2. Ba bài toán kiểm định giả thuyết kinh điển (The Holy Trinity of Tests)
Cả ba phương pháp kiểm định trụ cột của thống kê suy diễn đều vận hành trên nền tảng của MLE và Thông tin Fisher:
1. **Kiểm định Wald (*Wald Test*):** Đo khoảng cách giữa $\hat{\theta}_{\text{MLE}}$ và giả thuyết không $\theta_0$:
   $$W = n I(\hat{\theta}) (\hat{\theta} - \theta_0)^2 \xrightarrow{d} \chi^2_1.$$
2. **Kiểm định Điểm (*Score / Rao Test*):** Đo độ dốc $S_n(\theta_0)$ tại điểm giả thuyết $\theta_0$:
   $$R = \frac{[S_n(\theta_0)]^2}{n I(\theta_0)} \xrightarrow{d} \chi^2_1.$$
3. **Kiểm định Tỷ số Hợp lý (*Likelihood Ratio Test - LRT* / Định lý Wilks):** So sánh chiều cao của likelihood:
   $$\Lambda = 2\left[\ell_n(\hat{\theta}) - \ell_n(\theta_0)\right] \xrightarrow{d} \chi^2_1.$$

Khi $n \to \infty$, cả ba thống kê kiểm định này đều tương đương tiệm cận nhau.

---

## 6. Những trường hợp nào khiến tính hiệu quả tiệm cận của MLE bị phá vỡ?

Tính tiệm cận chuẩn và hiệu quả của MLE phụ thuộc sống còn vào các điều kiện chính quy. Khi các giả thiết này gãy đổ, MLE có thể không đạt CRLB hoặc phân phối tiệm cận không còn là Gauss:

1. **Tập hỗ trợ phụ thuộc vào tham số:** 
   Như trong phân phối đều $U(0, \theta)$, $\hat{\theta} = \max(X_i)$. Tốc độ hội tụ ở đây là $n(\theta - \hat{\theta}) \xrightarrow{d} \text{Exp}(1/\theta)$, phương sai giảm với cấp số $\mathcal{O}(1/n^2)$ nhanh hơn hẳn chuẩn $\mathcal{O}(1/n)$ của CRLB.
2. **Tham số nằm trên biên của miền $\Theta$ (*Boundary parameter*):**
   Nếu giá trị thực nằm ngay ranh giới miền xác định (ví dụ kiểm định phương sai $\sigma^2 = 0$), phương trình đạo hàm triệt tiêu không áp dụng được và phân phối tiệm cận bị biến dạng thành hỗn hợp chuẩn một phía.
3. **Mô hình không nhận dạng được (*Non-identifiability*):**
   Nếu hai giá trị tham số khác nhau $\theta_1 \neq \theta_2$ sinh ra cùng một phân phối dữ liệu, hàm log-likelihood sẽ có các đường bình địa, khiến MLE không thể hội tụ về điểm duy nhất.
4. **Số lượng tham số tăng vô hạn cùng kích thước mẫu (*Neyman-Scott Paradox*):**
   Nếu số chiều tham số phiền nhiễu (*nuisance parameters*) tăng tỉ lệ thuận với $n$, MLE thậm chí mất luôn tính vững!

---

## 7. Đâu là thông điệp cốt lõi cần ghi nhớ?

$$
\boxed{\sqrt{n}\left( \hat{\theta}_{\text{MLE}} - \theta \right) \xrightarrow{d} \mathcal{N}\left(0, \frac{1}{I(\theta)}\right)}
$$

* **CRLB** là rào cản lý thuyết tối ưu cho phương sai của mọi ước lượng.
* **MLE** là chìa khóa thực hành đưa chúng ta chạm tới rào cản tối ưu đó trong thế giới mẫu lớn.
* Phép màu tiệm cận này hình thành từ sự tương tác tuyệt mỹ giữa **CLT** (kiểm soát dao động của Score Function) và **LLN** (kiểm soát độ cong hội tụ về Thông tin Fisher).