Bất Đẳng Thức Cramér-Rao (CRLB): Giới Hạn Tối Hậu Cho Độ Chính Xác Ước Lượng
Từ Score Function, chứng minh Cauchy-Schwarz đến tiêu chuẩn đánh giá ước lượng hiệu quả
Trong lý thuyết ước lượng thống kê (estimation theory), khi muốn suy đoán một tham số tiềm ẩn $\theta$ từ dữ liệu ngẫu nhiên, trực giác tự nhiên thôi thúc chúng ta tìm kiếm các ước lượng không chệch (unbiased estimators) có phương sai càng nhỏ càng tốt.
Nhưng một câu hỏi nền tảng đặt ra là: Liệu có tồn tại một giới hạn vật lý tối hậu mà phương sai của mọi ước lượng không chệch không bao giờ có thể vượt qua?
Vào thập niên 1940, nhà toán học Thụy Điển Harald Cramér và nhà thống kê học Ấn Độ C. R. Rao đã độc lập thiết lập câu trả lời kinh điển: Bất đẳng thức Cramér-Rao (Cramér-Rao Lower Bound - CRLB). Định lý này chỉ ra rằng phương sai tối thiểu của bất kỳ ước lượng không chệch nào luôn bị chặn dưới bởi nghịch đảo của Thông tin Fisher (Fisher Information).
Bài viết này trình bày chi tiết định lý Cramér-Rao, chứng minh toán học thông qua bất đẳng thức Cauchy-Schwarz, trường hợp ước lượng chệch, và tiêu chuẩn xác định một ước lượng hiệu quả.
1. Tại sao ta cần một chặn dưới cho phương sai của ước lượng?
Khi đánh giá chất lượng của một ước lượng $\hat{\theta}$, sai số bình phương trung bình (Mean Squared Error - MSE) được phân rã thành:
$$ \operatorname{MSE}(\hat{\theta}) = \operatorname{Var}(\hat{\theta}) + [\operatorname{Bias}(\hat{\theta})]^2. $$Nếu ta giới hạn không gian tìm kiếm trong lớp các ước lượng không chệch ($\operatorname{Bias}(\hat{\theta}) = 0$), bài toán tối ưu hóa quy về việc tìm ước lượng có phương sai nhỏ nhất — gọi là Ước lượng không chệch có phương sai đều nhỏ nhất (Uniformly Minimum-Variance Unbiased Estimator - UMVUE).
Tuy nhiên, làm sao ta biết được một ước lượng $\hat{\theta}$ đã tìm được là tốt nhất có thể, hay vẫn còn một ước lượng thần kỳ nào khác có phương sai nhỏ hơn?
Chặn dưới Cramér-Rao đóng vai trò như một thước đo chuẩn tuyệt đối:
- Thay vì phải so sánh $\hat{\theta}$ với vô số các ước lượng khả dĩ khác, ta chỉ cần tính Thông tin Fisher $I(\theta)$ của mô hình.
- Nếu phương sai của $\hat{\theta}$ chạm đúng ngưỡng $\frac{1}{n I(\theta)}$, ta biết ngay lập tức rằng không còn thuật toán nào có thể làm tốt hơn nữa.
2. Định lý Cramér-Rao phát biểu chính xác như thế nào?
Xét một biến ngẫu nhiên $X$ có hàm mật độ xác suất hoặc hàm khối xác suất $f(x; \theta)$, phụ thuộc vào tham số thực $\theta \in \Theta \subseteq \mathbb{R}$.
Giả sử phân phối thỏa mãn các điều kiện chính quy (regularity conditions):
- Tập giá trị hỗ trợ $\operatorname{supp}(f) = {x : f(x; \theta) > 0}$ không phụ thuộc vào tham số $\theta$.
- Đạo hàm $\frac{\partial}{\partial \theta} f(x; \theta)$ tồn tại và hữu hạn trên toàn miền $\Theta$.
- Cho phép hoán đổi thứ tự giữa phép lấy tích phân theo $x$ và đạo hàm theo $\theta$.
2.1. Phát biểu cho một quan sát đơn lẻ
$$ \mathbb{E}_\theta[\hat{\theta}(X)] = \theta, \quad \forall \theta \in \Theta. $$Khi đó, phương sai của $\hat{\theta}(X)$ luôn thỏa mãn:
$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{I(\theta)}, $$$$ I(\theta) = \mathbb{E}_\theta \left[ \left(\frac{\partial}{\partial \theta} \ln f(X; \theta)\right)^2 \right] = \operatorname{Var}_\theta(S(\theta)). $$2.2. Phát biểu cho mẫu $n$ quan sát độc lập (IID)
$$ I_n(\theta) = n I(\theta). $$Khi đó, bất đẳng thức Cramér-Rao trở thành:
$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}. $$Ý nghĩa trực tiếp: Phương sai tối thiểu giảm tỉ lệ nghịch với kích thước mẫu $n$. Để tăng độ chính xác lên gấp đôi (giảm độ lệch chuẩn $\sigma$ đi 2 lần), ta cần số lượng mẫu $n$ gấp 4 lần.
3. Làm thế nào để chứng minh chặn Cramér-Rao qua bất đẳng thức Cauchy-Schwarz?
Chứng minh định lý Cramér-Rao dựa trên mối liên hệ giữa ước lượng $\hat{\theta}(X)$ và Score Function $S(\theta) = \frac{\partial}{\partial \theta} \ln f(X; \theta)$.
Bước 1: Tính hiệp phương sai giữa $\hat{\theta}$ và Score Function
$$ \mathbb{E}_\theta[S(\theta)] = 0. $$$$ \operatorname{Cov}_\theta(\hat{\theta}, S(\theta)) = \mathbb{E}_\theta[\hat{\theta} S(\theta)] - \mathbb{E}_\theta[\hat{\theta}] \underbrace{\mathbb{E}_\theta[S(\theta)]}_{= 0} = \mathbb{E}_\theta[\hat{\theta} S(\theta)]. $$Bước 2: Khai triển kỳ vọng dưới dạng tích phân
$$ \mathbb{E}_\theta[\hat{\theta} S(\theta)] = \int_{\mathcal{X}} \hat{\theta}(x) \left( \frac{\partial \ln f(x; \theta)}{\partial \theta} \right) f(x; \theta) \, dx. $$$$ \mathbb{E}_\theta[\hat{\theta} S(\theta)] = \int_{\mathcal{X}} \hat{\theta}(x) \frac{\partial f(x; \theta)}{\partial \theta} \, dx. $$Bước 3: Hoán đổi tích phân và đạo hàm
$$ \mathbb{E}_\theta[\hat{\theta} S(\theta)] = \frac{d}{d\theta} \int_{\mathcal{X}} \hat{\theta}(x) f(x; \theta) \, dx = \frac{d}{d\theta} \mathbb{E}_\theta[\hat{\theta}]. $$$$ \frac{d}{d\theta}[\theta] = 1 \implies \operatorname{Cov}_\theta(\hat{\theta}, S(\theta)) = 1. $$Bước 4: Áp dụng bất đẳng thức Cauchy-Schwarz
$$ [\operatorname{Cov}_\theta(\hat{\theta}, S(\theta))]^2 \le \operatorname{Var}_\theta(\hat{\theta}) \cdot \operatorname{Var}_\theta(S(\theta)). $$$$ 1^2 \le \operatorname{Var}_\theta(\hat{\theta}) \cdot I(\theta). $$$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{I(\theta)}. $$4. Khi ước lượng bị chệch, chặn Cramér-Rao thay đổi ra sao?
Trong thực tế, không phải mọi bài toán đều dùng ước lượng không chệch. Giả sử ước lượng $\hat{\theta}$ có độ chệch $b(\theta) = \mathbb{E}_\theta[\hat{\theta}] - \theta$. Khi đó:
$$ \mathbb{E}_\theta[\hat{\theta}] = \theta + b(\theta). $$$$ \frac{d}{d\theta} \mathbb{E}_\theta[\hat{\theta}] = 1 + b'(\theta). $$$$ \operatorname{Cov}_\theta(\hat{\theta}, S(\theta)) = 1 + b'(\theta). $$$$ [1 + b'(\theta)]^2 \le \operatorname{Var}_\theta(\hat{\theta}) \cdot I(\theta). $$Từ đó dẫn đến Chặn Cramér-Rao cho ước lượng chệch:
$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{[1 + b'(\theta)]^2}{I(\theta)}. $$$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{[1 + b'(\theta)]^2}{n I(\theta)}. $$[!NOTE] Nhận xét quan trọng về Bias-Variance Trade-off Nếu một ước lượng chấp nhận độ chệch với $b’(\theta) < 0$ (ví dụ bộ ước lượng co ngót như Ridge Regression hay shrinkage estimator), tử số $[1 + b’(\theta)]^2$ có thể nhỏ hơn $1$. Điều này giải thích vì sao một số ước lượng chệch có thể đạt phương sai nhỏ hơn cả CRLB của ước lượng không chệch, giúp tổng sai số $\operatorname{MSE} = \operatorname{Var} + \text{Bias}^2$ giảm xuống đáng kể!
5. Thế nào là một ước lượng hiệu quả (Efficient Estimator)?
5.1. Khi nào dấu đẳng thức trong CRLB xảy ra?
Trong bất đẳng thức Cauchy-Schwarz, dấu đẳng thức xảy ra khi và chỉ khi hai biến ngẫu nhiên tỉ lệ tuyến tính với nhau.
$$ S(\theta) = k(\theta) \left( \hat{\theta}(X) - \theta \right). $$$$ \operatorname{Var}(S(\theta)) = [k(\theta)]^2 \operatorname{Var}(\hat{\theta}). $$Vì $\operatorname{Var}(S(\theta)) = I(\theta)$ và $\operatorname{Var}(\hat{\theta}) = \frac{1}{I(\theta)}$, ta suy ra hệ số tỉ lệ chính là $k(\theta) = I(\theta)$:
$$ S(\theta) = \frac{\partial}{\partial \theta} \ln f(X; \theta) = I(\theta) \left( \hat{\theta}(X) - \theta \right). $$Kết luận: Một ước lượng không chệch đạt được dấu đẳng thức CRLB khi và chỉ khi hàm log-likelihood có thể biểu diễn dưới dạng đạo hàm bậc nhất tỉ lệ tuyến tính với $\hat{\theta}(X) - \theta$. Các phân phối thỏa mãn điều kiện khắt khe này thuộc về họ phân phối hàm mũ (Exponential Family).
5.2. Định nghĩa Ước lượng hiệu quả
$$ \operatorname{Var}_\theta(\hat{\theta}) = \frac{1}{n I(\theta)} $$được gọi là ước lượng hiệu quả (efficient estimator).
$$ e(\hat{\theta}) = \frac{\operatorname{CRLB}}{\operatorname{Var}_\theta(\hat{\theta})} = \frac{1}{n I(\theta) \operatorname{Var}_\theta(\hat{\theta})}. $$Do định lý CRLB, ta luôn có $0 < e(\hat{\theta}) \le 1$. Ước lượng đạt $e(\hat{\theta}) = 1$ là ước lượng hiệu quả tuyệt đối.
6. Ứng dụng tính toán CRLB trên ví dụ cụ thể như thế nào?
Xét một mẫu ngẫu nhiên $X_1, X_2, \dots, X_n \sim \mathcal{N}(\mu, \sigma^2)$ từ phân phối chuẩn với kỳ vọng $\mu$ chưa biết và phương sai $\sigma^2$ đã biết.
Bước 1: Tính Thông tin Fisher của một quan sát
$$ f(x; \mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right). $$$$ \ln f(x; \mu) = -\frac{1}{2} \ln(2\pi\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2}. $$$$ S(\mu) = \frac{\partial}{\partial \mu} \ln f(x; \mu) = \frac{x - \mu}{\sigma^2}. $$$$ I(\mu) = \mathbb{E}\left[ S(\mu)^2 \right] = \mathbb{E}\left[ \left(\frac{X - \mu}{\sigma^2}\right)^2 \right] = \frac{\mathbb{E}[(X - \mu)^2]}{\sigma^4} = \frac{\sigma^2}{\sigma^4} = \frac{1}{\sigma^2}. $$Bước 2: Thiết lập chặn CRLB cho mẫu cỡ $n$
$$ \operatorname{CRLB} = \frac{1}{n I(\mu)} = \frac{\sigma^2}{n}. $$Bước 3: Đánh giá ước lượng trung bình mẫu $\bar{X}$
$$ \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i. $$- Kỳ vọng: $\mathbb{E}[\bar{X}] = \mu \implies \bar{X}$ là ước lượng không chệch.
- Phương sai: $\operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n}$.
Kết luận: Phương sai của trung bình mẫu $\bar{X}$ trùng khít với chặn dưới Cramér-Rao ($\operatorname{Var}(\bar{X}) = \operatorname{CRLB}$). Do đó, $\bar{X}$ là một ước lượng hiệu quả tuyệt đối (efficient estimator) của $\mu$. Không thể tồn tại bất kỳ ước lượng không chệch nào có phương sai nhỏ hơn $\sigma^2/n$.
7. Mối liên hệ mật thiết giữa CRLB và Ước lượng Hợp lý Cực đại (MLE) là gì?
Trong các mẫu hữu hạn ($n$ nhỏ), ước lượng hợp lý cực đại $\hat{\theta}_{\text{MLE}}$ chưa chắc đã không chệch và chưa chắc đã đạt tới chặn CRLB.
$$ \sqrt{n} \left( \hat{\theta}_{\text{MLE}} - \theta \right) \xrightarrow{d} \mathcal{N}\left(0, \frac{1}{I(\theta)}\right). $$$$ \lim_{n \to \infty} n \operatorname{Var}(\hat{\theta}_{\text{MLE}}) = \frac{1}{I(\theta)}. $$Chi tiết về chứng minh giải tích qua khai triển Taylor của Score Function và sự kết hợp giữa CLT và LLN, mời bạn xem bài viết: Vì Sao Ước Lượng Hợp Lý Cực Đại (MLE) Chạm Tới Chặn Cramér-Rao Khi Mẫu Lớn?.
8. Những trường hợp nào khiến bất đẳng thức Cramér-Rao bị vô hiệu?
Bất đẳng thức Cramér-Rao không phải là chân lý phổ quát đúng cho mọi mô hình toán; nó phụ thuộc hoàn toàn vào các điều kiện chính quy. Khi các điều kiện này bị vi phạm, CRLB không còn là chặn dưới hợp lệ.
$$ f(x; \theta) = \frac{1}{\theta} \mathbb{I}_{[0, \theta]}(x). $$Ở đây, miền hỗ trợ $\operatorname{supp}(f) = [0, \theta]$ phụ thuộc trực tiếp vào tham số $\theta$, vi phạm điều kiện chính quy số 1. Ta không thể hoán đổi đạo hàm và tích phân qua bước nhảy gián đoạn tại $x = \theta$.
$$ \hat{\theta} = X_{(n)} = \max(X_1, X_2, \dots, X_n). $$$$ \operatorname{Var}(\hat{\theta}^*) = \frac{\theta^2}{n(n + 2)} \sim \mathcal{O}\left(\frac{1}{n^2}\right). $$Tốc độ thu hẹp phương sai ở đây đạt cấp số $\mathcal{O}(1/n^2)$ — nhanh hơn vượt trội so với tốc độ chuẩn $\mathcal{O}(1/n)$ mà chặn Cramér-Rao tiên đoán. Điều này cho thấy tầm quan trọng của việc luôn kiểm tra kỹ các điều kiện chính quy trước khi áp dụng CRLB trong thực tế.
9. Tóm lược thông điệp cốt lõi
$$ \boxed{\operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}} $$- Ý nghĩa thống kê: Chặn dưới Cramér-Rao biến khái niệm trừu tượng “Thông tin Fisher” thành một ranh giới định lượng cụ thể cho phương sai nhỏ nhất của mọi ước lượng không chệch.
- Cơ chế chứng minh: Bắt nguồn từ bất đẳng thức Cauchy-Schwarz áp dụng cho hiệp phương sai giữa ước lượng và Score Function.
- Ước lượng hiệu quả: Chỉ những phân phối thuộc họ hàm mũ mới có thể đạt được dấu đẳng thức của CRLB ở mẫu hữu hạn; nhưng trong tiệm cận mẫu lớn, MLE gần như luôn chạm tới giới hạn lý tưởng này.