Khi học về phân rã Bias – Variance và Cross-Validation, nhiều người bối rối trước phát biểu: “5-fold CV có bias cao hơn LOOCV”.

“Cùng một mô hình, tại sao chia dữ liệu lại làm thay đổi độ chệch?”

Sự nhầm lẫn xuất phát từ việc đánh đồng hai khái niệm:

---

1. Model Bias (Độ chệch của mô hình)

Đây là năng lực nội tại của dạng hàm bạn chọn:

• Dùng Hồi quy tuyến tính để khớp một quy luật cong, thì dù có nạp 100% hay 1 tỷ dữ liệu, đường thẳng vẫn không thể khớp hoàn hảo đường cong.
• Sự sai lệch này sinh ra từ giả định cấu trúc cố hữu của mô hình. Cách bạn chia dữ liệu kiểm định không làm thay đổi Model Bias.

---

2. Estimator Bias (Độ chệch của ước lượng sai số)

Đây không phải độ chệch của hàm mô hình, mà là độ chệch trong thước đo ước lượng sai số ngoài mẫu:

Câu hỏi trắc nghiệm kinh điển về phương pháp tái lấy mẫu:

Câu hỏi: Trong các phát biểu sau, phát biểu nào ĐÚNG?

• I. Validation set approach là trường hợp đặc biệt của $k$-fold CV.
• II. LOOCV có độ chệch (bias) thấp hơn $k$-fold CV khi $k < n$.
• III. $k$-fold CV tốn ít chi phí tính toán hơn LOOCV khi $k < n$.

$\implies$ Đáp án chính xác là (C) Chỉ II và III đúng.

Thuật toán K-Nearest Neighbors (KNN) phân loại một điểm dựa trên biểu quyết đa số từ $K$ quan sát gần nhất theo khoảng cách Euclid.

Xét tập huấn luyện gồm 5 điểm hai chiều $(X_1, X_2)$:

• Lớp [−]: #1 (0,0), #2 (0,1), #3 (2,0)
• Lớp [+]: #4 (2,3), #5 (3,1)

Yêu cầu: Tính sai số huấn luyện (training error rate) với $K = 3$.

Một cây quyết định (DT) sâu có độ chệch thấp nhưng phương sai rất cao: nó học vẹt nhiễu và rất nhạy với dữ liệu huấn luyện. Bagging và Random Forest (RF) cùng dùng triết lý “sức mạnh số đông” để dập tắt phương sai, nhưng ở hai cấp độ khác nhau.

---

1. Bagging: Hội đồng đọc chung tài liệu

Thay vì tin 1 cây, Bagging rút mẫu bootstrap tạo $B$ tập con, trồng cây DT nguyên bản trên mỗi tập rồi lấy trung bình dự đoán:

Một cây quyết định sâu có độ chệch thấp nhưng phương sai rất cao: nó ghi nhớ nhiễu và rất nhạy với mẫu huấn luyện.

Năm 1996, Leo Breiman đề xuất Bagging (Bootstrap Aggregating) giúp triệt tiêu phương sai mà không tăng độ chệch.

---

1. Trực giác toán học: Sức mạnh số đông

$$ \operatorname{Var}\left(\frac{1}{B}\sum_{b=1}^B \hat{f}_b(x)\right) = \frac{\sigma^2}{B}. $$

Không thể thu thập thêm dữ liệu thật, Bagging dùng Bootstrap: tái lấy mẫu có hoàn lại từ tập ban đầu để tạo $B$ tập huấn luyện.

Mọi mô hình học máy khi dự đoán một điểm dữ liệu mới $x_0$ đều phải đối mặt với một phương trình phân rã sai số kinh điển:

$$ \mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right] = \operatorname{Var}\left(\hat{f}(x_0)\right) + \left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2 + \operatorname{Var}(\varepsilon). $$

---

1. Trực giác (Intuition) của từng thành phần

Phương trình chia sai số dự đoán thành đúng ba mảnh ghép độc lập:

1. Vế trái: $\mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right]$ — Sai số kiểm định kỳ vọng (Expected Test MSE)

• Ý nghĩa: Sai số bình phương trung bình khi mô hình đem đi thực chiến trên dữ liệu mới, tính trung bình qua vô số lần huấn luyện với các tập dữ liệu khác nhau.
• Hình dung: Đây là thước đo “chất lượng thực tế” ngoài đời của thuật toán.

2. $\operatorname{Var}\left(\hat{f}(x_0)\right)$ — Phương sai mô hình (“Tính khí thất thường”)

• Ý nghĩa: Dự đoán của mô hình dao động mạnh đến mức nào nếu ta huấn luyện nó trên một tập dữ liệu khác?
• Trực giác: Mô hình có Variance cao (như Decision Tree quá sâu, mạng nơ-ron không chặn) là kẻ “học vẹt” — quá nhạy cảm với từng điểm dữ liệu ngẫu nhiên của tập train. Đổi tập dữ liệu một chút là kết quả dự đoán nhảy lung tung.
• Bản chất: Gốc rễ của hiện tượng Quá khớp (Overfitting).

3. $\left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2$ — Độ chệch bình phương (“Định kiến mô hình”)

• Ý nghĩa: Sai lệch giữa giá trị dự đoán trung bình của mô hình và sự thật khách quan: $\operatorname{Bias} = \mathbb{E}[\hat{f}(x_0)] - f(x_0)$.
• Trực giác: Mô hình có Bias cao là kẻ “bảo thủ” — mang nặng giả định giản lược thái quá (ví dụ ép dữ liệu cong thành đường thẳng Linear Regression). Dù có nạp thêm bao nhiêu triệu dữ liệu đi nữa, mô hình vẫn đoán lệch tâm.
• Bản chất: Gốc rễ của hiện tượng Dưới khớp (Underfitting).

4. $\operatorname{Var}(\varepsilon) = \sigma^2$ — Sai số bất khả quy (“Nhiễu của tạo hóa”)

• Ý nghĩa: Phương sai của biến ngẫu nhiên nhiễu $\varepsilon$ trong chính thực tại ($y_0 = f(x_0) + \varepsilon$).
• Trực giác: Thế giới thực luôn chứa đựng sai số đo đạc, biến số tiềm ẩn chưa thu thập hoặc bản chất ngẫu nhiên không thể đoán trước.
• Bản chất: Đây là sàn sai số vật lý (noise floor) mà không một thuật toán tối tân nào có thể vượt qua.

---

2. Hai Insight cốt tử của công thức

Insight 1: Cuộc đánh đổi bắt buộc (The Inevitable Trade-off)

Khi bạn tăng độ phức tạp của mô hình (thêm bậc đa thức, thêm tầng nơ-ron):