Score Function Là Gì? Độ Dốc Log-Likelihood Và Nền Tảng Của Thông Tin Fisher
Từ trực giác lấy log, kỳ vọng triệt tiêu đến phương sai thông tin và ứng dụng trong Policy Gradient
Khi làm việc với các mô hình xác suất tham số, câu hỏi trung tâm của việc học tham số là: Nếu ta nhích nhẹ tham số mô hình $\theta$ một lượng vi phân, hàm hợp lý của dữ liệu quan sát sẽ phản ứng nhạy bén đến mức nào?
Công cụ toán học chuẩn mực để định lượng độ nhạy này chính là Score Function. Khác với các đạo hàm hàm số thông thường trong giải tích, Score Function là một biến ngẫu nhiên. Nó sở hữu hai tính chất xác suất nền tảng: kỳ vọng của nó luôn bằng $0$, và phương sai của nó chính là Thông tin Fisher (Fisher Information).
Bài viết này đi sâu vào định nghĩa toán học của Score Function, lý do vì sao ta phải lấy logarit, chứng minh kỳ vọng triệt tiêu, và các ứng dụng cốt lõi từ ước lượng MLE đến Policy Gradient trong học tăng cường (Reinforcement Learning).
1. Score Function đo độ nhạy gì của hàm hợp lý?
Xét một biến ngẫu nhiên $X$ có hàm mật độ xác suất (hoặc hàm khối xác suất đối với biến rời rạc) ký hiệu là $f(x; \theta)$, phụ thuộc vào một tham số thực $\theta \in \Theta \subseteq \mathbb{R}$.
Giả sử phân phối thỏa mãn các điều kiện chính quy (regularity conditions):
- Tập giá trị hỗ trợ $\operatorname{supp}(f) = {x : f(x; \theta) > 0}$ không phụ thuộc vào tham số $\theta$.
- Hàm $f(x; \theta)$ khả vi theo $\theta$ trên toàn miền $\Theta$.
- Cho phép hoán đổi thứ tự giữa phép lấy tích phân (hoặc lấy tổng) theo $x$ và phép lấy đạo hàm theo $\theta$.
Với một quan sát $X$, hàm hợp lý (Likelihood) là $L(\theta; X) = f(X; \theta)$, và hàm log-likelihood là:
$$ \ell(\theta; X) = \ln f(X; \theta). $$Score Function, ký hiệu là $S(\theta; X)$ hoặc $S(\theta)$, được định nghĩa là đạo hàm bậc nhất của hàm log-likelihood theo tham số $\theta$:
$$ S(\theta) = \frac{\partial}{\partial \theta} \ln f(X; \theta) = \frac{1}{f(X; \theta)} \frac{\partial f(X; \theta)}{\partial \theta}. $$Score Function $S(\theta)$ chính là độ dốc của log-likelihood tại điểm $\theta$. Lưu ý rằng vì $X$ là một biến ngẫu nhiên, nên bản thân $S(\theta)$ cũng là một biến ngẫu nhiên. Với mỗi mẫu dữ liệu ngẫu nhiên $X$ thu được, ta sẽ có một giá trị độ dốc $S(\theta)$ khác nhau.
2. Tại sao lại lấy log của hàm hợp lý thay vì đạo hàm trực tiếp xác suất?
Việc lấy logarit trong Score Function không đơn thuần là một thủ thuật giải tích giúp chuyển tích thành tổng, mà mang một trực giác xác suất rất mạnh mẽ.
Trước hết, cần làm rõ một điểm nhỏ về mặt ký hiệu: tham số là $\theta$, còn $p(x \mid \theta)$ (hoặc $f(x; \theta)$) là phân phối của dữ liệu phụ thuộc vào $\theta$. Khi mẫu $x$ đã được quan sát, ta coi nó như hàm hợp lý (likelihood) của $\theta$.
Tại sao chúng ta lại lấy đạo hàm của logarit? Khai triển đạo hàm logarit cho ta:
$$ \frac{\partial}{\partial\theta}\log p(x\mid\theta) = \frac{1}{p(x\mid\theta)} \frac{\partial p(x\mid\theta)}{\partial\theta}. $$Đẳng thức này cho thấy: lấy log đồng nghĩa với việc ta không đo thay đổi tuyệt đối (absolute change) của xác suất, mà đo thay đổi tương đối (relative change):
- $p: 0{,}001 \to 0{,}002$: tăng $100%$.
- $p: 0{,}5 \to 0{,}501$: tăng $0{,}2%$.
Cùng một lượng tăng tuyệt đối $+0{,}001$, nhưng trường hợp đầu tiên rõ ràng mang lại một tín hiệu phân biệt mạnh hơn rất nhiều về $\theta$. Log bắt trọn chính xác độ nhạy tương đối này.
Thêm nữa, với dữ liệu gồm các quan sát độc lập:
$$ L(\theta) = p(x_1\mid\theta) p(x_2\mid\theta) \cdots p(x_n\mid\theta) \implies \log L(\theta) = \sum_{i=1}^n \log p(x_i\mid\theta). $$Do đó, Score Function của toàn bộ mẫu $n$ quan sát độc lập đơn giản là tổng các Score Function thành phần:
$$ S_n(\theta) = \sum_{i=1}^n S(X_i; \theta). $$Sâu hơn nữa, log liên hệ trực tiếp với Phân kỳ Kullback–Leibler (KL divergence):
$$ D_{\text{KL}}(p_\theta \parallel p_{\theta+d\theta}) \approx \frac{1}{2} I(\theta) (d\theta)^2. $$Thông tin Fisher chính là độ cong của KL divergence quanh $\theta$. Mà KL divergence vốn được xây dựng trên nền tảng logarit:
$$ D_{\text{KL}}(P \parallel Q) = \mathbb E_P\left[\log\frac{P(X)}{Q(X)}\right]. $$Tóm lại: Phép lấy log biến câu hỏi “xác suất thay đổi bao nhiêu?” thành:
“Phân phối thay đổi tương đối mạnh đến mức nào khi ta dịch $\theta$ một chút?”
Và đó chính là thứ ta cần khi muốn biết liệu dữ liệu quan sát có đủ sức phân biệt giữa $\theta$ và $\theta+d\theta$ hay không.
3. Vì sao kỳ vọng của Score Function luôn đồng nhất bằng 0?
Dưới các điều kiện chính quy nêu trên, kỳ vọng toán học của Score Function theo phân phối thực của $X$ luôn đồng nhất bằng $0$:
$$ \mathbb{E}_\theta[S(\theta)] = 0. $$Chứng minh:
$$ \mathbb{E}_\theta[S(\theta)] = \int_{\mathcal{X}} \left( \frac{\partial}{\partial \theta} \ln f(x; \theta) \right) f(x; \theta) \, dx = \int_{\mathcal{X}} \frac{\frac{\partial f(x; \theta)}{\partial \theta}}{f(x; \theta)} f(x; \theta) \, dx = \int_{\mathcal{X}} \frac{\partial f(x; \theta)}{\partial \theta} \, dx. $$$$ \int_{\mathcal{X}} \frac{\partial f(x; \theta)}{\partial \theta} \, dx = \frac{d}{d\theta} \int_{\mathcal{X}} f(x; \theta) \, dx. $$$$ \int_{\mathcal{X}} f(x; \theta) \, dx = 1 \implies \frac{d}{d\theta} (1) = 0. $$$$ \mathbb{E}_\theta[S(\theta)] = 0. $$[!NOTE] Ý nghĩa thống kê sâu sắc Kết quả này chỉ ra rằng tại giá trị đúng của tham số $\theta$, độ dốc trung bình của hàm log-likelihood trên toàn không gian mẫu luôn đạt trạng thái cân bằng hoàn hảo. Nếu bạn lấy mẫu lặp đi lặp lại nhiều lần, các giá trị độ dốc dương và âm sẽ triệt tiêu lẫn nhau, trọng tâm phân phối của Score Function luôn đặt tại gốc tọa độ $0$.
4. Vì sao Thông tin Fisher lại được đo bằng phương sai của Score Function?
Vì kỳ vọng của Score Function bằng $0$, mức độ “rung lắc” hay nhạy bén của độ dốc quanh trạng thái cân bằng được phản ánh trọn vẹn thông qua phương sai của nó.
Thông tin Fisher (Fisher Information), ký hiệu là $I(\theta)$, được định nghĩa chính là phương sai của Score Function:
$$ I(\theta) = \operatorname{Var}_\theta(S(\theta)). $$Vì $\mathbb{E}_\theta[S(\theta)] = 0$, phương sai trùng khớp với kỳ vọng của bình phương Score Function:
$$ I(\theta) = \mathbb{E}_\theta \left[ S(\theta)^2 \right] = \mathbb{E}_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln f(X; \theta) \right)^2 \right]. $$$$ I(\theta) = \int_{\mathcal{X}} \left( \frac{\partial}{\partial \theta} \ln f(x; \theta) \right)^2 f(x; \theta) \, dx. $$Do là kỳ vọng của một đại lượng bình phương, Thông tin Fisher luôn không âm: $I(\theta) \ge 0$.
- Nếu phương sai $I(\theta)$ lớn: Giá trị Score Function thay đổi rất mạnh theo từng mẫu dữ liệu. Một sự dịch chuyển nhỏ của $\theta$ khiến độ dốc phản ứng dữ dội, nghĩa là dữ liệu chứa nhiều thông tin về $\theta$.
- Nếu phương sai $I(\theta)$ nhỏ: Độ dốc Score Function phẳng lặng, dữ liệu biến động ít theo $\theta$, nghĩa là dữ liệu chứa ít thông tin về $\theta$.
5. Tính toán Score Function trên các phân phối cụ thể như thế nào?
5.1. Phân phối Bernoulli (Tung đồng xu)
$$ f(x; p) = p^x (1 - p)^{1 - x}. $$$$ \ln f(x; p) = x \ln p + (1 - x) \ln(1 - p). $$$$ S(p) = \frac{x}{p} - \frac{1 - x}{1 - p} = \frac{x(1 - p) - p(1 - x)}{p(1 - p)} = \frac{x - p}{p(1 - p)}. $$- Kiểm tra kỳ vọng: Vì $\mathbb{E}[X] = p$, ta có $\mathbb{E}[S(p)] = \frac{p - p}{p(1 - p)} = 0$.
- Phương sai (Thông tin Fisher): $$I(p) = \operatorname{Var}\left(\frac{X - p}{p(1 - p)}\right) = \frac{\operatorname{Var}(X)}{[p(1 - p)]^2} = \frac{p(1 - p)}{[p(1 - p)]^2} = \frac{1}{p(1 - p)}.$$
5.2. Phân phối Chuẩn $\mathcal{N}(\mu, \sigma^2)$ đối với kỳ vọng $\mu$
$$ f(x; \mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right). $$$$ \ln f(x; \mu) = -\frac{1}{2} \ln(2\pi\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2}. $$$$ S(\mu) = \frac{\partial}{\partial \mu} \left[ -\frac{(x - \mu)^2}{2\sigma^2} \right] = \frac{x - \mu}{\sigma^2}. $$- Kiểm tra kỳ vọng: $\mathbb{E}[S(\mu)] = \frac{\mathbb{E}[X] - \mu}{\sigma^2} = 0$.
- Phương sai: $I(\mu) = \operatorname{Var}\left(\frac{X - \mu}{\sigma^2}\right) = \frac{\sigma^2}{\sigma^4} = \frac{1}{\sigma^2}$.
$$ > S(\theta) = \frac{X - \mathbb{E}[X]}{\operatorname{Var}(X)} \cdot (\text{hệ số tỷ lệ}). > $$Score Function đo độ lệch chuẩn hóa giữa giá trị quan sát thực tế và kỳ vọng mô hình!
6. Score Function đóng vai trò gì trong suy diễn thống kê và Trí tuệ nhân tạo?
6.1. Phương trình hợp lý trong Ước lượng Hợp lý Cực đại (MLE)
$$ \sum_{i=1}^n S(X_i; \hat{\theta}_{\text{MLE}}) = 0. $$Đây là điểm tựa để chứng minh tính tiệm cận hiệu quả đạt chặn Cramér-Rao của MLE.
6.2. Kiểm định Điểm (Score Test / Rao Test)
$$ R = \frac{[S_n(\theta_0)]^2}{n I(\theta_0)} \xrightarrow{d} \chi^2_1. $$Ta không cần tốn chi phí tính toán để tìm ước lượng tối đa hóa $\hat{\theta}_{\text{MLE}}$, mà chỉ cần đánh giá độ dốc Score Function ngay tại giá trị giả thuyết $\theta_0$. Nếu tại $\theta_0$, Score Function đã rất gần $0$, giả thuyết không được chấp nhận.
6.3. Định lý Gradient Chính sách (Policy Gradient Theorem) trong Học tăng cường
Trong học tăng cường hiện đại (Reinforcement Learning - thuật toán REINFORCE, PPO), ta cần tối ưu hóa chính sách hành động $\pi_\theta(a \mid s)$.
$$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau} \left[ \nabla_\theta \ln \pi_\theta(a \mid s) \cdot Q(s, a) \right]. $$Thành phần $\nabla_\theta \ln \pi_\theta(a \mid s)$ chính xác là Score Function của mô hình chính sách! Khả năng tính toán gradient của mạng nơ-ron mà không cần biết mô hình động lực học của môi trường (model-free) hoàn toàn dựa trên bản chất Score Function này.
7. Đâu là thông điệp cốt lõi cần nhớ?
$$ \boxed{S(\theta) = \frac{\partial}{\partial \theta} \ln f(X; \theta), \quad \mathbb{E}[S(\theta)] = 0, \quad \operatorname{Var}(S(\theta)) = I(\theta)} $$- Score Function là độ nhạy tương đối của phân phối xác suất khi dịch chuyển tham số mô hình.
- Vì mang tính ngẫu nhiên theo dữ liệu mẫu, Score Function là một biến ngẫu nhiên có trọng tâm cân bằng tại $0$.
- Mức độ biến thiên của nó xác lập Thông tin Fisher, tạo nên nền móng cho chặn Cramér-Rao, thuật toán ước lượng MLE, và các giải thuật tối ưu hóa trong học máy hiện đại.