# Thông Tin Fisher (Fisher Information): Dữ Liệu Tiết Lộ Bao Nhiêu Về Tham Số Ẩn?


Khi quan sát một tập dữ liệu ngẫu nhiên, câu hỏi trung tâm của thống kê suy diễn (*inferential statistics*) là: **Dữ liệu này tiết lộ cho chúng ta bao nhiêu thông tin về tham số ẩn của mô hình?**

Năm 1925, nhà thống kê và di truyền học Ronald A. Fisher giới thiệu một khái niệm nền tảng nhằm định lượng câu hỏi trên: **Thông tin Fisher (*Fisher Information*)**. Khác với [Entropy của Shannon]({{< ref "entropy.md" >}}) vốn đo lường độ bất định trung bình của bản thân biến cố ngẫu nhiên, Thông tin Fisher đo lường *độ nhạy* của dữ liệu quan sát đối với một tham số mô hình $\theta$.

Một điểm rất dễ gây hiểu nhầm khi mới tiếp cận là xem Thông tin Fisher như một thước đo gán cho từng thuật toán ước lượng. Nhưng chính xác hơn:

> **Fisher information không trực tiếp đo “estimator nào tốt hơn estimator nào”.** Nó đo **lượng thông tin mà dữ liệu chứa về tham số $\theta$**. Từ đó ta có một chuẩn để đánh giá estimator.

Ví dụ, chặn Cramér–Rao cho:
$$
\operatorname{Var}(\hat\theta) \ge \frac{1}{I(\theta)}.
$$

Nên nếu có hai estimator không chệch, ta có thể hỏi estimator nào có variance gần $1/I(\theta)$ hơn. Estimator đạt bound này được gọi là **efficient estimator**.

Vì vậy flow là:
$$
\boxed{\text{Data/model} \rightarrow I(\theta) \rightarrow \text{theoretical best precision} \rightarrow \text{compare estimators}}
$$

Nói ngắn gọn: **Fisher muốn biết dữ liệu cho phép ta ước lượng $\theta$ chính xác đến mức nào, rồi dùng mức giới hạn đó để đánh giá chất lượng estimator.**

Khái niệm này đóng vai trò như chiếc chìa khóa vạn năng nối liền các nhánh quan trọng nhất của thống kê hiện đại: từ chặn dưới phương sai của ước lượng không chệch ([Bất đẳng thức Cramér-Rao]({{< ref "cramer-rao-bound.md" >}})), phân phối tiệm cận của ước lượng hợp lý cực đại (MLE), phân phối tiền nghiệm Jeffreys trong thống kê Bayes, cho đến metric Riemann trong Hình học thông tin (*Information Geometry*) và thuật toán tối ưu Gradient tự nhiên (*Natural Gradient*) trong học máy.

---

## 1. Dữ liệu quan sát thực sự "tiết lộ" bao nhiêu về tham số ẩn?

Hãy tưởng tượng bạn đang nghe tiếng bước chân của một người trong đêm tối và muốn ước lượng khoảng cách $\theta$ từ người đó đến bạn.

- **Kịch bản A (Âm lượng rất nhạy với khoảng cách):** Giả sử không gian kín và âm thanh suy giảm rất rõ rệt theo khoảng cách. Khi người đó nhích lại gần 1 mét, âm thanh nghe to hơn hẳn; khi lùi xa 1 mét, âm thanh nhỏ đi trông thấy. Ở kịch bản này, chỉ cần nghe một vài tiếng bước chân, bạn đã có thể định vị $\theta$ tương đối chuẩn xác. Dữ liệu âm thanh mang **nhiều thông tin Fisher** về khoảng cách $\theta$.
- **Kịch bản B (Âm lượng ít đổi theo khoảng cách):** Giả sử trong phòng có nhiều tiếng vang hỗn loạn hoặc môi trường khiến âm lượng gần như không đổi dù người đó ở cách bạn 2 mét hay 10 mét. Khi đó, việc thay đổi $\theta$ hầu như không làm thay đổi phân phối của dữ liệu quan sát. Dù bạn có căng tai nghe hàng trăm bước chân, độ bất định về $\theta$ vẫn rất lớn. Dữ liệu âm thanh mang **ít thông tin Fisher** về $\theta$.

Về mặt toán học, trực giác này dẫn đến ý niệm: **Một mẫu dữ liệu mang nhiều thông tin về $\theta$ nếu phân phối xác suất của nó thay đổi mạnh mẽ khi $\theta$ thay đổi một lượng nhỏ.**

Nó **không được đo bằng bit hay nat** như Shannon information.

Fisher information đo “lượng thông tin” bằng **độ nhạy của log-likelihood đối với tham số $\theta$**:

$$
I(\theta) = \mathbb E\left[ \left( \frac{\partial}{\partial\theta}\log p(X\mid\theta) \right)^2 \right].
$$

Hiểu trực giác là: nếu dịch $\theta$ một chút mà likelihood thay đổi rất mạnh, thì $I(\theta)$ lớn; nếu likelihood gần như phẳng theo $\theta$, thì $I(\theta)$ nhỏ.

Có thể nhìn tương đương qua **độ cong của log-likelihood**:

$$
I(\theta) = -\mathbb E\left[ \frac{\partial^2}{\partial\theta^2}\log p(X\mid\theta) \right].
$$

Điểm rất quan trọng: **đơn vị của Fisher information phụ thuộc vào đơn vị của $\theta$**. Nếu $\theta$ có đơn vị mét thì $I(\theta)$ có đơn vị $1/\text{m}^2$.

Vì vậy Fisher information không phải một “lượng thông tin tuyệt đối”; nó là một **thang đo local precision/sensitivity trong parameter space**. Đây cũng là lý do

$$
\frac{1}{I(\theta)}
$$

có cùng đơn vị với variance của estimator.

---

## 2. Toán học định nghĩa Thông tin Fisher từ Score Function như thế nào?

> [!TIP] Xem bài viết chuyên sâu
> Để tìm hiểu chi tiết về nguồn gốc, trực giác giải tích, ví dụ tính toán trên các phân phối và ứng dụng của Score Function trong kiểm định Rao và Policy Gradient (RL), mời bạn xem bài viết riêng:  
> 👉 **[Score Function Là Gì? Độ Dốc Log-Likelihood Và Nền Tảng Của Thông Tin Fisher]({{< ref "score-function.md" >}})**.

Xét một biến ngẫu nhiên $X$ có hàm mật độ xác suất (hoặc hàm khối xác suất đối với biến rời rạc) ký hiệu là $f(x; \theta)$, phụ thuộc vào một tham số thực $\theta \in \Theta \subseteq \mathbb{R}$.

Giả sử phân phối thỏa mãn các **điều kiện chính quy (*regularity conditions*)**:
1. Tập giá trị hỗ trợ $\operatorname{supp}(f) = \{x : f(x; \theta) > 0\}$ không phụ thuộc vào tham số $\theta$.
2. Hàm $f(x; \theta)$ khả vi theo $\theta$ trên toàn miền $\Theta$.
3. Cho phép hoán đổi thứ tự giữa phép lấy tích phân (hoặc lấy tổng) theo $x$ và phép lấy đạo hàm theo $\theta$.

### 2.1. Score Function đo độ nhạy gì của hàm hợp lý?

Với một quan sát $X$, hàm hợp lý (*Likelihood*) là $L(\theta; X) = f(X; \theta)$, và hàm log-likelihood là:
$$
\ell(\theta; X) = \ln f(X; \theta).
$$

**Score Function**, ký hiệu là $S(\theta; X)$ hoặc $S(\theta)$, được định nghĩa là đạo hàm bậc nhất của hàm log-likelihood theo tham số $\theta$:
$$
S(\theta) = \frac{\partial}{\partial \theta} \ln f(X; \theta) = \frac{1}{f(X; \theta)} \frac{\partial f(X; \theta)}{\partial \theta}.
$$

Score Function $S(\theta)$ chính là độ dốc của log-likelihood tại điểm $\theta$. Lưu ý rằng vì $X$ là một biến ngẫu nhiên, nên bản thân $S(\theta)$ cũng là một **biến ngẫu nhiên**.

### 2.2. Tại sao lại lấy log của hàm hợp lý thay vì đạo hàm trực tiếp xác suất?

Việc lấy logarit trong Score Function không đơn thuần là một thủ thuật giải tích giúp chuyển tích thành tổng, mà mang một **trực giác xác suất rất mạnh mẽ**.

Trước hết, cần làm rõ một điểm nhỏ về mặt ký hiệu: tham số là $\theta$, còn $p(x \mid \theta)$ (hoặc $f(x; \theta)$) là phân phối của dữ liệu phụ thuộc vào $\theta$. Khi mẫu $x$ đã được quan sát, ta coi nó như **hàm hợp lý (likelihood) của $\theta$**.

Tại sao chúng ta lại lấy đạo hàm của logarit? Khai triển đạo hàm logarit cho ta:
$$
\frac{\partial}{\partial\theta}\log p(x\mid\theta) = \frac{1}{p(x\mid\theta)} \frac{\partial p(x\mid\theta)}{\partial\theta}.
$$

Đẳng thức này cho thấy: lấy log đồng nghĩa với việc ta không đo **thay đổi tuyệt đối (*absolute change*)** của xác suất, mà đo **thay đổi tương đối (*relative change*)**:

* $p: 0{,}001 \to 0{,}002$: tăng $100\%$.
* $p: 0{,}5 \to 0{,}501$: tăng $0{,}2\%$.

Cùng một lượng tăng tuyệt đối $+0{,}001$, nhưng trường hợp đầu tiên rõ ràng mang lại một tín hiệu phân biệt mạnh hơn rất nhiều về $\theta$. Log bắt trọn chính xác độ nhạy tương đối này.

Thêm nữa, với dữ liệu gồm các quan sát độc lập:
$$
L(\theta) = p(x_1\mid\theta) p(x_2\mid\theta) \cdots p(x_n\mid\theta) \implies \log L(\theta) = \sum_{i=1}^n \log p(x_i\mid\theta).
$$
Do đó, **lượng thông tin của từng quan sát độc lập có thể cộng dồn tuyến tính lại với nhau**.

Sâu hơn nữa, log liên hệ trực tiếp với **Phân kỳ Kullback–Leibler (KL divergence)**:
$$
D_{\text{KL}}(p_\theta \parallel p_{\theta+d\theta}) \approx \frac{1}{2} I(\theta) (d\theta)^2.
$$
Thông tin Fisher chính là **độ cong của KL divergence** quanh $\theta$. Mà KL divergence vốn được xây dựng trên nền tảng logarit:
$$
D_{\text{KL}}(P \parallel Q) = \mathbb E_P\left[\log\frac{P(X)}{Q(X)}\right].
$$

Tóm lại: Phép lấy log biến câu hỏi *"xác suất thay đổi bao nhiêu?"* thành:
> **“Phân phối thay đổi tương đối mạnh đến mức nào khi ta dịch $\theta$ một chút?”**

Và đó chính là thứ ta cần khi muốn biết liệu dữ liệu quan sát có đủ sức phân biệt giữa $\theta$ và $\theta+d\theta$ hay không.

### 2.3. Vì sao kỳ vọng của Score Function luôn đồng nhất bằng 0?

Dưới các điều kiện chính quy nêu trên, kỳ vọng toán học của Score Function theo phân phối của $X$ luôn đồng nhất bằng $0$:

$$
\mathbb{E}_\theta[S(\theta)] = 0.
$$

**Chứng minh:**
Áp dụng định nghĩa kỳ vọng:
$$
\mathbb{E}_\theta[S(\theta)] = \int_{\mathcal{X}} \left( \frac{\partial}{\partial \theta} \ln f(x; \theta) \right) f(x; \theta) \, dx = \int_{\mathcal{X}} \frac{\frac{\partial f(x; \theta)}{\partial \theta}}{f(x; \theta)} f(x; \theta) \, dx = \int_{\mathcal{X}} \frac{\partial f(x; \theta)}{\partial \theta} \, dx.
$$
Do điều kiện chính quy cho phép hoán đổi đạo hàm và tích phân:
$$
\int_{\mathcal{X}} \frac{\partial f(x; \theta)}{\partial \theta} \, dx = \frac{d}{d\theta} \int_{\mathcal{X}} f(x; \theta) \, dx = \frac{d}{d\theta} (1) = 0.
$$

Đẳng thức này khẳng định rằng trọng tâm phân phối của Score Function luôn nằm tại $0$. Khi đó, mức độ biến động của độ dốc log-likelihood quanh $0$ được phản ánh hoàn toàn qua **phương sai** của $S(\theta)$.

### 2.4. Vì sao Thông tin Fisher lại được đo bằng phương sai của Score Function?

**Thông tin Fisher (*Fisher Information*)**, ký hiệu là $I(\theta)$, được định nghĩa là phương sai của Score Function:
$$
I(\theta) = \operatorname{Var}_\theta(S(\theta)).
$$

Vì $\mathbb{E}_\theta[S(\theta)] = 0$, phương sai trùng khớp với kỳ vọng của bình phương Score Function:
$$
I(\theta) = \mathbb{E}_\theta \left[ S(\theta)^2 \right] = \mathbb{E}_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln f(X; \theta) \right)^2 \right].
$$

Viết dưới dạng tích phân:
$$
I(\theta) = \int_{\mathcal{X}} \left( \frac{\partial}{\partial \theta} \ln f(x; \theta) \right)^2 f(x; \theta) \, dx.
$$

Do là kỳ vọng của một đại lượng bình phương, Thông tin Fisher luôn không âm: $I(\theta) \ge 0$.

---

## 3. Vì sao Thông tin Fisher còn phản ánh độ cong của bề mặt Log-Likelihood?

Trong thực hành tính toán, định nghĩa bình phương đạo hàm bậc nhất thường cồng kềnh. Nếu hàm $f(x; \theta)$ khả vi hai lần theo $\theta$ và thỏa mãn điều kiện hoán đổi tích phân với đạo hàm bậc hai, Thông tin Fisher có thể tính thông qua **đạo hàm bậc hai của log-likelihood**.

### 3.1. Làm thế nào để chứng minh đẳng thức đạo hàm bậc hai?
$$
I(\theta) = - \mathbb{E}_\theta \left[ \frac{\partial^2}{\partial \theta^2} \ln f(X; \theta) \right].
$$

**Chứng minh:**
Từ đẳng thức đã chứng minh ở Mục 2.3:
$$
\int_{\mathcal{X}} \frac{\partial \ln f(x; \theta)}{\partial \theta} f(x; \theta) \, dx = 0.
$$
Lấy đạo hàm theo $\theta$ cả hai vế:
$$
\frac{d}{d\theta} \int_{\mathcal{X}} \frac{\partial \ln f(x; \theta)}{\partial \theta} f(x; \theta) \, dx = 0.
$$
Đưa đạo hàm vào trong tích phân theo quy tắc đạo hàm của tích:
$$
\int_{\mathcal{X}} \left( \frac{\partial^2 \ln f(x; \theta)}{\partial \theta^2} f(x; \theta) + \frac{\partial \ln f(x; \theta)}{\partial \theta} \frac{\partial f(x; \theta)}{\partial \theta} \right) dx = 0.
$$
Để ý rằng $\frac{\partial f(x; \theta)}{\partial \theta} = \frac{\partial \ln f(x; \theta)}{\partial \theta} f(x; \theta)$, biểu thức trở thành:
$$
\int_{\mathcal{X}} \frac{\partial^2 \ln f(x; \theta)}{\partial \theta^2} f(x; \theta) \, dx + \int_{\mathcal{X}} \left( \frac{\partial \ln f(x; \theta)}{\partial \theta} \right)^2 f(x; \theta) \, dx = 0.
$$
Chuyển vế, ta thu được:
$$
\mathbb{E}_\theta \left[ \left( \frac{\partial \ln f(X; \theta)}{\partial \theta} \right)^2 \right] = - \mathbb{E}_\theta \left[ \frac{\partial^2 \ln f(X; \theta)}{\partial \theta^2} \right].
$$

Đẳng thức hoàn tất chứng minh.

### 3.2. Độ cong của Log-Likelihood mang ý nghĩa hình học trực quan gì?

Đạo hàm bậc hai $\frac{\partial^2 \ln f}{\partial \theta^2}$ phản ánh **độ cong (*curvature*)** của hàm log-likelihood tại điểm $\theta$:

```
Log-likelihood ℓ(θ)                      Log-likelihood ℓ(θ)
       ▲                                        ▲
       │        Đỉnh rất nhọn                   │        Đỉnh tù, phẳng
       │            /\                          │           _..--.._
       │           /  \                         │        .-'        '-.
       │          /    \                        │       /              \
       │         /      \                       │      /                \
       └────────┴────────┴───► θ                └─────┴──────────────────┴──► θ
         Độ cong lớn (-ℓ'' lớn)                   Độ cong nhỏ (-ℓ'' nhỏ)
         => Thông tin Fisher CAO                  => Thông tin Fisher THẤP
         => Xác định θ rất chính xác              => Khó xác định chính xác θ
```

- **Khi $I(\theta)$ lớn:** Hàm log-likelihood uốn cong rất gắt quanh đỉnh. Một sai lệch nhỏ của $\theta$ khỏi giá trị thực sẽ làm log-likelihood sụt giảm mạnh. Dữ liệu cung cấp bằng chứng rõ nét để định vị tham số.
- **Khi $I(\theta)$ nhỏ:** Hàm log-likelihood thoai thoải phẳng lì. Rất nhiều giá trị lân cận của $\theta$ đều cho mức hợp lý xấp xỉ nhau, khiến việc ước lượng tham số gặp nhiều bất định.

---

## 4. Bất đẳng thức Cramér-Rao đặt ra giới hạn tối hậu nào cho độ chính xác ước lượng?

Mối liên hệ kinh điển nhất chứng minh vai trò trung tâm của Thông tin Fisher trong thống kê suy diễn là **Chặn dưới Cramér-Rao (*Cramér-Rao Lower Bound - CRLB*)**, do Harald Cramér và C. R. Rao độc lập tìm ra vào thập niên 1940.

> [!TIP] Xem bài viết chuyên sâu
> Để theo dõi chứng minh toán học chi tiết qua bất đẳng thức Cauchy-Schwarz, trường hợp mở rộng cho ước lượng chệch, điều kiện đạt đẳng thức của họ hàm mũ và các bài toán mẫu, mời bạn xem bài viết riêng:  
> 👉 **[Bất Đẳng Thức Cramér-Rao: Giới Hạn Tối Hậu Cho Độ Chính Xác Ước Lượng]({{< ref "cramer-rao-bound.md" >}})**.

### 4.1. Định lý Cramér-Rao phát biểu chính xác điều gì?

Giả sử ta muốn ước lượng tham số $\theta$ thông qua một hàm ước lượng không chệch (*unbiased estimator*) $\hat{\theta}(X)$, nghĩa là $\mathbb{E}_\theta[\hat{\theta}(X)] = \theta$ với mọi $\theta$.

Khi đó, dưới các điều kiện chính quy, phương sai của bất kỳ ước lượng không chệch nào cũng bị chặn dưới bởi nghịch đảo của Thông tin Fisher:
$$
\operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{I(\theta)}.
$$

Nếu ta có một mẫu gồm $n$ quan sát độc lập, cùng phân phối (IID) $X_1, X_2, \dots, X_n$, do tính cộng tính của thông tin Fisher trên các biến độc lập ($I_n(\theta) = n I(\theta)$), chặn dưới trở thành:
$$
\operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}.
$$

### 4.2. Thế nào là một ước lượng hiệu quả (Efficient Estimator)?

Bất đẳng thức Cramér-Rao đặt ra một **giới hạn vật lý tối hậu** cho độ chính xác: dù bạn có thông minh đến đâu, thuật toán tối ưu hóa của bạn có tinh vi đến mức nào, bạn không bao giờ có thể xây dựng được một ước lượng không chệch có phương sai nhỏ hơn $\frac{1}{n I(\theta)}$.

Một ước lượng không chệch đạt được dấu đẳng thức của CRLB được gọi là **ước lượng hiệu quả (*efficient estimator*)**.

---

## 5. Vì sao ước lượng hợp lý cực đại (MLE) chạm được tới chặn Cramér-Rao khi mẫu lớn?

Nếu CRLB đặt ra giới hạn lý thuyết, thì **Ước lượng Hợp lý Cực đại (*Maximum Likelihood Estimation - MLE*)** chính là phương pháp biến giới hạn đó thành hiện thực trong tiệm cận.

> [!TIP] Xem bài viết chuyên sâu
> Để theo dõi chứng minh giải tích chi tiết qua khai triển Taylor của Score Function, sự kết hợp giữa CLT và LLN, cùng các ứng dụng kiểm định giả thuyết (Wald, Score, LRT), mời bạn xem bài viết riêng:  
> 👉 **[Vì Sao Ước Lượng Hợp Lý Cực Đại (MLE) Chạm Tới Chặn Cramér-Rao Khi Mẫu Lớn?]({{< ref "mle-asymptotic-efficiency.md" >}})**.

Dưới các điều kiện chính quy, khi kích thước mẫu $n \to \infty$, ước lượng $\hat{\theta}_{\text{MLE}}$ có tính vững (*consistency*) và hội tụ phân phối về một phân phối chuẩn:
$$
\sqrt{n} \left( \hat{\theta}_{\text{MLE}} - \theta \right) \xrightarrow{d} \mathcal{N}\left(0, \frac{1}{I(\theta)}\right).
$$

Hay nói cách khác, với mẫu lớn $n$:
$$
\hat{\theta}_{\text{MLE}} \approx \mathcal{N}\left(\theta, \frac{1}{n I(\theta)}\right).
$$

Điều này khẳng định rằng: **MLE là một ước lượng tiệm cận hiệu quả (*asymptotically efficient*)**. Phương sai tiệm cận của MLE đạt tới chặn dưới tuyệt đối do Thông tin Fisher quy định.

---

## 6. Tính toán Thông tin Fisher trên các phân phối cụ thể như thế nào?

### 6.1. Phân phối Bernoulli: Vì sao đồng xu cân bằng lại mang ít thông tin nhất?

Xét phép thử Bernoulli với biến cố thành công có xác suất $p \in (0, 1)$:
$$
f(x; p) = p^x (1 - p)^{1 - x}, \quad x \in \{0, 1\}.
$$

1. Hàm log-likelihood cho một quan sát:
   $$
   \ln f(x; p) = x \ln p + (1 - x) \ln(1 - p).
   $$
2. Đạo hàm bậc nhất (Score):
   $$
   S(p) = \frac{\partial \ln f}{\partial p} = \frac{x}{p} - \frac{1 - x}{1 - p}.
   $$
3. Đạo hàm bậc hai:
   $$
   \frac{\partial^2 \ln f}{\partial p^2} = -\frac{x}{p^2} - \frac{1 - x}{(1 - p)^2}.
   $$
4. Lấy kỳ vọng đổi dấu (vì $\mathbb{E}[X] = p$):
   $$
   I(p) = -\mathbb{E}\left[ -\frac{X}{p^2} - \frac{1 - X}{(1 - p)^2} \right] = \frac{p}{p^2} + \frac{1 - p}{(1 - p)^2} = \frac{1}{p} + \frac{1}{1 - p} = \frac{1}{p(1 - p)}.
   $$

**Nhận xét sâu sắc:**
- Đồ thị của $I(p) = \frac{1}{p(1-p)}$ có dạng chữ U:
  - Khi $p = 0{,}5$, $I(p) = 4$ đạt giá trị **nhỏ nhất**. Đồng xu cân bằng là trường hợp mang lại ít thông tin nhất trên mỗi lần tung, vì độ bất định của kết quả là lớn nhất.
  - Khi $p \to 0$ hoặc $p \to 1$, $I(p) \to \infty$. Một biến cố cực kỳ hiếm (hoặc gần như chắc chắn) mang lại lượng thông tin khổng lồ: chỉ cần thấy một vài kết quả thành công, ta đã có thể ước lượng $p$ cực kỳ sát sao.
- Theo CRLB, với mẫu cỡ $n$, mọi ước lượng không chệch của $p$ phải có:
  $$
  \operatorname{Var}(\hat{p}) \ge \frac{p(1 - p)}{n}.
  $$
  Ước lượng tỷ lệ mẫu quen thuộc $\hat{p} = \bar{X} = \frac{1}{n} \sum X_i$ có phương sai đúng bằng $\frac{p(1 - p)}{n}$. Như vậy, tỷ lệ mẫu là một ước lượng hiệu quả tuyệt đối ở mọi kích thước mẫu hữu hạn.

---

### 6.2. Phân phối Chuẩn: Độ nhiễu dữ liệu ảnh hưởng thế nào đến thông tin về kỳ vọng?

Hàm mật độ của $X \sim \mathcal{N}(\mu, \sigma^2)$ với kỳ vọng $\mu$ (biết trước phương sai $\sigma^2$):
$$
f(x; \mu) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right).
$$

1. Hàm log-likelihood:
   $$
   \ln f(x; \mu) = -\frac{1}{2} \ln(2\pi\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2}.
   $$
2. Đạo hàm bậc nhất theo $\mu$:
   $$
   \frac{\partial \ln f}{\partial \mu} = \frac{x - \mu}{\sigma^2}.
   $$
3. Đạo hàm bậc hai theo $\mu$:
   $$
   \frac{\partial^2 \ln f}{\partial \mu^2} = -\frac{1}{\sigma^2}.
   $$
4. Thông tin Fisher:
   $$
   I(\mu) = -\mathbb{E}\left[ -\frac{1}{\sigma^2} \right] = \frac{1}{\sigma^2}.
   $$

**Nhận xét:**
Thông tin về kỳ vọng $\mu$ tỷ lệ nghịch trực tiếp với phương sai $\sigma^2$ của dữ liệu. Nếu dữ liệu có độ nhiễu lớn ($\sigma^2$ cao), mỗi điểm dữ liệu cung cấp rất ít thông tin về tâm vị trí $\mu$. Chặn CRLB cho mẫu cỡ $n$ là $\frac{\sigma^2}{n}$, đúng bằng phương sai của trung bình mẫu $\bar{X}$.

---

## 7. Khi mô hình có nhiều tham số, Ma trận Thông tin Fisher (FIM) được xây dựng ra sao?

Khi mô hình có $d$ tham số được biểu diễn bởi vector $\boldsymbol{\theta} = (\theta_1, \theta_2, \dots, \theta_d)^T \in \mathbb{R}^d$, Thông tin Fisher không còn là một số vô hướng mà mở rộng thành **Ma trận Thông tin Fisher (*Fisher Information Matrix - FIM*)**, kích thước $d \times d$.

### 7.1. Ma trận FIM được biểu diễn và tính toán như thế nào?

Phần tử ở hàng $i$, cột $j$ của ma trận $\mathbf{I}(\boldsymbol{\theta})$ được xác định bởi:
$$
\mathbf{I}_{ij}(\boldsymbol{\theta}) = \operatorname{Cov}_\theta \left( \frac{\partial \ln f(X; \boldsymbol{\theta})}{\partial \theta_i}, \frac{\partial \ln f(X; \boldsymbol{\theta})}{\partial \theta_j} \right) = \mathbb{E}_\theta \left[ \frac{\partial \ln f(X; \boldsymbol{\theta})}{\partial \theta_i} \frac{\partial \ln f(X; \boldsymbol{\theta})}{\partial \theta_j} \right].
$$

Dưới các điều kiện chính quy bậc hai, ma trận này bằng kỳ vọng đổi dấu của ma trận Hessian của log-likelihood:
$$
\mathbf{I}_{ij}(\boldsymbol{\theta}) = - \mathbb{E}_\theta \left[ \frac{\partial^2 \ln f(X; \boldsymbol{\theta})}{\partial \theta_i \partial \theta_j} \right].
$$

Viết gọn dưới dạng giải tích ma trận:
$$
\mathbf{I}(\boldsymbol{\theta}) = \mathbb{E}_\theta \left[ \nabla_{\boldsymbol{\theta}} \ln f(X; \boldsymbol{\theta}) \left(\nabla_{\boldsymbol{\theta}} \ln f(X; \boldsymbol{\theta})\right)^T \right] = - \mathbb{E}_\theta \left[ \mathbf{H}_{\ln f}(\boldsymbol{\theta}) \right].
$$

### 7.2. FIM có những tính chất đại số quan trọng nào?

- **Đối xứng và Nửa xác định dương:** $\mathbf{I}(\boldsymbol{\theta}) \succeq 0$. Nếu mô hình có tính nhận dạng được (*identifiable*), ma trận sẽ là **xác định dương** ($\mathbf{I}(\boldsymbol{\theta}) \succ 0$) và khả nghịch.
- **Bất đẳng thức Cramér-Rao đa chiều:** Với bất kỳ vector ước lượng không chệch $\hat{\boldsymbol{\theta}}$, ma trận hiệp phương sai của nó thỏa mãn:
  $$
  \operatorname{Cov}_\theta(\hat{\boldsymbol{\theta}}) - \frac{1}{n} \mathbf{I}(\boldsymbol{\theta})^{-1} \succeq 0 \quad (\text{nghĩa là ma trận hiệu là nửa xác định dương}).
  $$

---

## 8. Thông tin Fisher kết nối với Hình học thông tin, Thống kê Bayes và Học máy như thế nào?

### 8.1. Vì sao FIM đóng vai trò là metric Riemann trong Hình học thông tin?

Một trong những bước tiến toán học sâu sắc nhất của thế kỷ 20 là trường phái **Hình học thông tin (*Information Geometry*)**, do nhà toán học Nhật Bản Shun-ichi Amari và C. R. Rao tiên phong.

Thay vì xem không gian tham số $\Theta$ như một không gian phẳng Euclid thông thường, ta xem tập hợp các phân phối xác suất $\mathcal{M} = \{f(x; \boldsymbol{\theta}) : \boldsymbol{\theta} \in \Theta\}$ như một **đa tạp vi phân (*statistical manifold*)**.
Tại mỗi điểm $\boldsymbol{\theta}$, ma trận Thông tin Fisher $\mathbf{I}(\boldsymbol{\theta})$ đóng vai trò chính là **tensor metric Riemann (*Riemannian metric tensor*)**, gọi là **Fisher-Rao metric**.

Bình phương khoảng cách vi phân giữa hai phân phối vô cùng gần nhau $P_{\boldsymbol{\theta}}$ và $P_{\boldsymbol{\theta} + d\boldsymbol{\theta}}$ được đo bằng:
$$
ds^2 = d\boldsymbol{\theta}^T \mathbf{I}(\boldsymbol{\theta}) \, d\boldsymbol{\theta}.
$$

Khoảng cách này bất biến đối với mọi phép đổi biến tọa độ tham số hóa, phản ánh đúng bản chất hình học nội tại của không gian xác suất.

### 8.2. Mối liên hệ mật thiết giữa Thông tin Fisher và Phân kỳ KL là gì?

Nếu lấy phân kỳ Kullback-Leibler giữa hai phân phối $P_{\boldsymbol{\theta}}$ và $P_{\boldsymbol{\theta} + \Delta\boldsymbol{\theta}}$ và khai triển Taylor bậc hai quanh điểm $\boldsymbol{\theta}$:
$$
D_{\text{KL}}\left( P_{\boldsymbol{\theta}} \parallel P_{\boldsymbol{\theta} + \Delta\boldsymbol{\theta}} \right) = \frac{1}{2} \Delta\boldsymbol{\theta}^T \mathbf{I}(\boldsymbol{\theta}) \Delta\boldsymbol{\theta} + \mathcal{O}(\|\Delta\boldsymbol{\theta}\|^3).
$$

*(Số hạng bậc 0 triệt tiêu vì $D_{\text{KL}}(P \parallel P) = 0$; số hạng bậc 1 triệt tiêu vì KL divergence đạt cực tiểu tại $\Delta\boldsymbol{\theta} = 0$).*

Kết quả này cho thấy: **Ma trận Thông tin Fisher chính là ma trận Hessian cục bộ của Phân kỳ Kullback-Leibler!** Nó đo lường sự phân kỳ tương đối giữa hai phân phối xác suất khi ta dịch chuyển một bước vi phân trong không gian tham số.

### 8.3. Vì sao tiền nghiệm Jeffreys trong Bayes bất biến trước phép đổi biến?

Trong thống kê Bayes, việc chọn một tiền nghiệm "không chứa thông tin" (*uninformative prior*) thường gặp khó khăn vì nếu gán phân phối đều cho $\theta$, khi đổi biến sang $\phi = g(\theta)$ thì tiền nghiệm của $\phi$ không còn đều nữa.

Nhà địa vật lý Harold Jeffreys đề xuất sử dụng căn bậc hai của định thức ma trận Fisher:
$$
p(\boldsymbol{\theta}) \propto \sqrt{\det \mathbf{I}(\boldsymbol{\theta})}.
$$

Nhờ tính chất biến đổi của tensor Riemann theo quy tắc đổi biến Jacobian, **tiền nghiệm Jeffreys (*Jeffreys prior*)** bảo đảm tính **bất biến tuyệt đối đối với mọi phép tham số hóa lại**.

### 8.4. Natural Gradient Descent ứng dụng FIM để tối ưu mạng nơ-ron ra sao?

Trong học sâu (*Deep Learning*) và học tăng cường (*Reinforcement Learning* - ví dụ thuật toán TRPO, PPO), tối ưu hóa bằng phương pháp hạ gradient tiêu chuẩn:
$$
\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \nabla_{\boldsymbol{\theta}} \mathcal{L}
$$
bị phụ thuộc vào cách tham số hóa mạng nơ-ron (cùng một phân phối đầu ra nhưng nếu đổi thang đo trọng số thì bước nhảy sẽ bị méo).

Thuật toán **Natural Gradient Descent** của Amari khắc phục điều này bằng cách chuẩn hóa bước nhảy theo ma trận Thông tin Fisher:
$$
\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \, \mathbf{I}(\boldsymbol{\theta}_t)^{-1} \nabla_{\boldsymbol{\theta}} \mathcal{L}.
$$

Phép nhân với $\mathbf{I}(\boldsymbol{\theta})^{-1}$ biến đổi vector gradient thông thường thành hướng dốc nhất trên đa tạp phân phối xác suất Riemann, giúp quá trình hội tụ ổn định và tránh được các vùng bình địa (*plateaus*) của hàm mất mát.

---

## 9. Thông tin Fisher khác biệt căn bản với Shannon Entropy ở những điểm nào?

| Tiêu chí | Shannon Entropy $H(X)$ | Fisher Information $I(\theta)$ |
| :--- | :--- | :--- |
| **Đối tượng đo lường** | Độ bất định của biến ngẫu nhiên $X$. | Lượng thông tin mà $X$ mang lại về tham số ẩn $\theta$. |
| **Bản chất câu hỏi** | *"Kết quả của $X$ khó đoán biết đến mức nào?"* | *"Mẫu quan sát $X$ giúp ước lượng $\theta$ chính xác tới đâu?"* |
| **Tính phụ thuộc** | Chỉ phụ thuộc vào phân phối xác suất của $X$. | Phụ thuộc vào phân phối và **đạo hàm theo tham số $\theta$**. |
| **Trường phái chính** | Lý thuyết thông tin, nén dữ liệu, mã hóa nguồn. | Thống kê suy diễn, lý thuyết ước lượng, tối ưu hóa. |
| **Đơn vị / Dạng hình học** | Vô hướng (đơn vị bit hoặc nat). | $1 / (\text{đơn vị của } \theta)^2$ hoặc tensor metric Riemann (FIM). |

---

## 10. Những trường hợp dị thường nào khiến Thông tin Fisher và CRLB bị vô hiệu?

Cần đặc biệt lưu ý rằng toàn bộ các định lý đẹp đẽ về Thông tin Fisher (bao gồm đẳng thức đạo hàm bậc hai và chặn Cramér-Rao) đều đứng trên các **điều kiện chính quy**. Khi các điều kiện này bị vi phạm, Thông tin Fisher có thể không xác định hoặc CRLB không còn là chặn dưới đúng.

Ví dụ tiêu biểu nhất là **Phân phối Đều trên đoạn $[0, \theta]$**:
$$
f(x; \theta) = \frac{1}{\theta} \mathbb{I}_{[0, \theta]}(x).
$$
Ở đây, tập hỗ trợ $\operatorname{supp}(f) = [0, \theta]$ phụ thuộc trực tiếp vào tham số $\theta$. Ta không thể hoán đổi đạo hàm và tích phân qua điểm gián đoạn $x = \theta$. 

Trong trường hợp này, ước lượng hợp lý cực đại là $\hat{\theta} = \max(X_1, \dots, X_n)$. Sai số của ước lượng này giảm với tốc độ $\mathcal{O}(1/n^2)$, nhanh hơn đáng kể so với tốc độ tiệm cận $\mathcal{O}(1/n)$ của chặn Cramér-Rao thông thường!

---

## 11. Đâu là những thông điệp cốt lõi cần nhớ về Thông tin Fisher?

Thông tin Fisher không đơn thuần là một công thức giải tích khô khan; nó là nhịp cầu toán học kết nối giữa **dữ liệu thực nghiệm** và **thế giới tham số tiềm ẩn**:

1. **Về mặt thống kê:** Nó định lượng phương sai của Score Function và đặt ra chặn dưới tuyệt đối cho mọi phép ước lượng qua bất đẳng thức Cramér-Rao.
2. **Về mặt hình học:** Nó đóng vai trò là độ cong của hàm hợp lý và thiết lập cấu trúc metric Riemann trên đa tạp các mô hình xác suất.
3. **Về mặt ứng dụng:** Nó chỉ đường cho các thuật toán ước lượng tiệm cận hiệu quả (MLE), thiết lập tiền nghiệm khách quan trong Bayes (Jeffreys prior), và định hướng thuật toán tối ưu hóa thông minh trong Trí tuệ nhân tạo (Natural Gradient).