Statistical-Learning - Nhãn - NZQIRC https://nzqirc.xyz/tags/statistical-learning/ Statistical-Learning - Nhãn - NZQIRC Hugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 19 Sep 2026 10:40:00 +0700 Model Bias và Estimator Bias: Cạm bẫy nhầm lẫn trong Cross-Validation https://nzqirc.xyz/posts/math/stats/model-bias-vs-estimator-bias/ Sat, 19 Sep 2026 10:40:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/model-bias-vs-estimator-bias/ Khi học về phân rã Bias – Variance và Cross-Validation, nhiều người bối rối trước phát biểu: “5-fold CV có bias cao hơn LOOCV”.

“Cùng một mô hình, tại sao chia dữ liệu lại làm thay đổi độ chệch?”

Sự nhầm lẫn xuất phát từ việc đánh đồng hai khái niệm:

1. Model Bias (Độ chệch của mô hình)

Đây là năng lực nội tại của dạng hàm bạn chọn:

  • Dùng Hồi quy tuyến tính để khớp một quy luật cong, thì dù có nạp 100% hay 1 tỷ dữ liệu, đường thẳng vẫn không thể khớp hoàn hảo đường cong.
  • Sự sai lệch này sinh ra từ giả định cấu trúc cố hữu của mô hình. Cách bạn chia dữ liệu kiểm định không làm thay đổi Model Bias.

2. Estimator Bias (Độ chệch của ước lượng sai số)

Đây không phải độ chệch của hàm mô hình, mà là độ chệch trong thước đo ước lượng sai số ngoài mẫu:

]]> LOOCV và K-Fold Cross-Validation: Đánh đổi Bias và Chi phí tính toán https://nzqirc.xyz/posts/math/stats/loocv-vs-k-fold-cv/ Sat, 19 Sep 2026 10:30:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/loocv-vs-k-fold-cv/ Câu hỏi trắc nghiệm kinh điển về phương pháp tái lấy mẫu:

Câu hỏi: Trong các phát biểu sau, phát biểu nào ĐÚNG?

  • I. Validation set approach là trường hợp đặc biệt của $k$-fold CV.
  • II. LOOCV có độ chệch (bias) thấp hơn $k$-fold CV khi $k < n$.
  • III. $k$-fold CV tốn ít chi phí tính toán hơn LOOCV khi $k < n$.

$\implies$ Đáp án chính xác là (C) Chỉ II và III đúng.

]]> K-Nearest Neighbors (KNN): Sai số huấn luyện và cạm bẫy láng giềng https://nzqirc.xyz/posts/math/stats/knn-classification/ Fri, 18 Sep 2026 21:05:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/knn-classification/ Thuật toán K-Nearest Neighbors (KNN) phân loại một điểm dựa trên biểu quyết đa số từ $K$ quan sát gần nhất theo khoảng cách Euclid.

Xét tập huấn luyện gồm 5 điểm hai chiều $(X_1, X_2)$:

  • Lớp [−]: #1 (0,0), #2 (0,1), #3 (2,0)
  • Lớp [+]: #4 (2,3), #5 (3,1)

Yêu cầu: Tính sai số huấn luyện (training error rate) với $K = 3$.

]]> Lộ trình từ Decision Tree đến Random Forest https://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/ Fri, 18 Sep 2026 21:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/ Một cây quyết định (DT) sâu có độ chệch thấp nhưng phương sai rất cao: nó học vẹt nhiễu và rất nhạy với dữ liệu huấn luyện. Bagging và Random Forest (RF) cùng dùng triết lý “sức mạnh số đông” để dập tắt phương sai, nhưng ở hai cấp độ khác nhau.

1. Bagging: Hội đồng đọc chung tài liệu

Thay vì tin 1 cây, Bagging rút mẫu bootstrap tạo $B$ tập con, trồng cây DT nguyên bản trên mỗi tập rồi lấy trung bình dự đoán:

]]> Bagging: Giảm phương sai cho cây học máy https://nzqirc.xyz/posts/math/stats/bagging/ Fri, 18 Sep 2026 20:50:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/bagging/ Một cây quyết định sâu có độ chệch thấp nhưng phương sai rất cao: nó ghi nhớ nhiễu và rất nhạy với mẫu huấn luyện.

Năm 1996, Leo Breiman đề xuất Bagging (Bootstrap Aggregating) giúp triệt tiêu phương sai mà không tăng độ chệch.

1. Trực giác toán học: Sức mạnh số đông

$$ \operatorname{Var}\left(\frac{1}{B}\sum_{b=1}^B \hat{f}_b(x)\right) = \frac{\sigma^2}{B}. $$

Không thể thu thập thêm dữ liệu thật, Bagging dùng Bootstrap: tái lấy mẫu có hoàn lại từ tập ban đầu để tạo $B$ tập huấn luyện.

]]> Phân rã Bias – Variance: Bản chất của sai số mô hình https://nzqirc.xyz/posts/math/stats/bias-variance-tradeoff/ Fri, 18 Sep 2026 19:50:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/bias-variance-tradeoff/ Mọi mô hình học máy khi dự đoán một điểm dữ liệu mới $x_0$ đều phải đối mặt với một phương trình phân rã sai số kinh điển:

$$ \mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right] = \operatorname{Var}\left(\hat{f}(x_0)\right) + \left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2 + \operatorname{Var}(\varepsilon). $$

1. Trực giác (Intuition) của từng thành phần

Phương trình chia sai số dự đoán thành đúng ba mảnh ghép độc lập:

1. Vế trái: $\mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right]$ — Sai số kiểm định kỳ vọng (Expected Test MSE)

  • Ý nghĩa: Sai số bình phương trung bình khi mô hình đem đi thực chiến trên dữ liệu mới, tính trung bình qua vô số lần huấn luyện với các tập dữ liệu khác nhau.
  • Hình dung: Đây là thước đo “chất lượng thực tế” ngoài đời của thuật toán.

2. $\operatorname{Var}\left(\hat{f}(x_0)\right)$ — Phương sai mô hình (“Tính khí thất thường”)

  • Ý nghĩa: Dự đoán của mô hình dao động mạnh đến mức nào nếu ta huấn luyện nó trên một tập dữ liệu khác?
  • Trực giác: Mô hình có Variance cao (như Decision Tree quá sâu, mạng nơ-ron không chặn) là kẻ “học vẹt” — quá nhạy cảm với từng điểm dữ liệu ngẫu nhiên của tập train. Đổi tập dữ liệu một chút là kết quả dự đoán nhảy lung tung.
  • Bản chất: Gốc rễ của hiện tượng Quá khớp (Overfitting).

3. $\left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2$ — Độ chệch bình phương (“Định kiến mô hình”)

  • Ý nghĩa: Sai lệch giữa giá trị dự đoán trung bình của mô hình và sự thật khách quan: $\operatorname{Bias} = \mathbb{E}[\hat{f}(x_0)] - f(x_0)$.
  • Trực giác: Mô hình có Bias cao là kẻ “bảo thủ” — mang nặng giả định giản lược thái quá (ví dụ ép dữ liệu cong thành đường thẳng Linear Regression). Dù có nạp thêm bao nhiêu triệu dữ liệu đi nữa, mô hình vẫn đoán lệch tâm.
  • Bản chất: Gốc rễ của hiện tượng Dưới khớp (Underfitting).

4. $\operatorname{Var}(\varepsilon) = \sigma^2$ — Sai số bất khả quy (“Nhiễu của tạo hóa”)

  • Ý nghĩa: Phương sai của biến ngẫu nhiên nhiễu $\varepsilon$ trong chính thực tại ($y_0 = f(x_0) + \varepsilon$).
  • Trực giác: Thế giới thực luôn chứa đựng sai số đo đạc, biến số tiềm ẩn chưa thu thập hoặc bản chất ngẫu nhiên không thể đoán trước.
  • Bản chất: Đây là sàn sai số vật lý (noise floor) mà không một thuật toán tối tân nào có thể vượt qua.

2. Hai Insight cốt tử của công thức

Insight 1: Cuộc đánh đổi bắt buộc (The Inevitable Trade-off)

Khi bạn tăng độ phức tạp của mô hình (thêm bậc đa thức, thêm tầng nơ-ron):

]]> So sánh ba thước đo độ hỗn tạp: Gini, Entropy và Sai số phân loại https://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/ Tue, 08 Sep 2026 14:48:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/ Khi huấn luyện một cây quyết định phân loại (Decision Tree), giảm tỷ lệ dự đoán sai ngoài mẫu thường là một mục tiêu quan trọng. Vậy tại sao các thuật toán kinh điển như CART (Breiman et al., 1984) và C4.5 (Quinlan, 1993) không dùng trực tiếp Sai số phân loại (Misclassification Error) để tìm điểm phân nhánh, mà dùng Độ hỗn tạp Gini hoặc tiêu chí dựa trên Shannon Entropy?

Bài viết này so sánh trực diện ba thước đo độ hỗn tạp, làm sáng tỏ “điểm mù” của sai số phân loại, và chứng minh bất đẳng thức toán học $E(t) \le G(t)$ liên kết chúng với nhau.

]]> Chỉ số Gini (Gini Impurity): Đo độ hỗn tạp từ một trò chơi xác suất https://nzqirc.xyz/posts/math/stats/gini-impurity/ Sun, 30 Aug 2026 16:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/gini-impurity/ Thuật toán cây phân loại CART (Classification and Regression Trees) thực chất là bài toán Cô Tấm lựa đậu được tự động hoá, vận hành nhờ sự phối hợp nhịp nhàng giữa hai vai trò: The Doer (người thực thi) và The Tester (giám khảo đánh giá).

  • Cô Tấm (The Doer — Bộ phân nhánh): Bắt đầu với một rổ đậu lẫn lộn (tập dữ liệu), nhiệm vụ của Tấm là liên tục đề xuất phương pháp phân loại.
  • Thước đo Gini (The Tester — Giám khảo): Mỗi khi Tấm chia thử, “máy đo Gini” sẽ quét qua hai rổ mới để định lượng độ hỗn tạp:
    • $\text{Gini} = 0$: Rổ thuần khiết tuyệt đối (chỉ còn một loại hạt) $\to$ Tấm cất rổ đó đi, nhánh này hoàn tất.
    • $\text{Gini} > 0$: Rổ vẫn hỗn tạp (còn lẫn nhiều loại hạt) $\to$ Tấm phải tiếp tục tìm tiêu chí để lựa tiếp.

“Doer” thử mọi cách chia khả dĩ, còn “Tester” kiên nhẫn chấm điểm mức độ giảm độ hỗn tạp $\Delta G$ — tức hiệu số giữa độ hỗn tạp của rổ ban đầu trừ đi độ hỗn tạp trung bình của các rổ con sau khi chia ($\Delta G = G_{\text{trước}} - G_{\text{sau}}$). Cách lựa nào mang lại $\Delta G$ lớn nhất (giúp rổ đậu sạch nhanh nhất) sẽ được chốt hạ, và chu trình cứ thế lặp lại cho đến khi các rổ đạt độ thuần khiết mong muốn (hoặc chạm ngưỡng dừng của cây).

]]> Random Forest: Khi nhiều cây quyết định cùng bỏ phiếu https://nzqirc.xyz/posts/math/stats/random-forest/ Sun, 30 Aug 2026 14:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/random-forest/ Một cây quyết định (Decision Tree) có cách suy luận trực quan và dễ theo dõi: đặt liên tiếp các câu hỏi để chia nhỏ dữ liệu. Tuy nhiên, một cây đơn lẻ có thể dao động rất mạnh theo mẫu huấn luyện (phương sai cao) — chỉ vài quan sát thay đổi cũng có thể làm phép chia gần gốc đổi chỗ và kéo theo toàn bộ cấu trúc cây đảo lộn.

]]> Cây quyết định (Decision Tree): Một câu hỏi chia đôi dữ liệu https://nzqirc.xyz/posts/math/stats/decision-tree/ Sun, 30 Aug 2026 13:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/decision-tree/ Một cây quyết định học bằng cách đặt liên tiếp những câu hỏi đơn giản. Chẳng hạn, với một hồ sơ tín dụng, cây có thể hỏi “tỷ lệ nợ có vượt 40% không?”, rồi ở mỗi nhánh lại hỏi thêm về thu nhập hoặc lịch sử trả nợ. Đi hết một đường từ gốc tới lá, ta nhận được một dự đoán.

Sự đơn giản này dễ tạo cảm giác rằng cây chỉ là một sơ đồ if–else được viết bằng tay. Điểm khác biệt nằm ở chỗ dữ liệu quyết định câu hỏi nào được đặt, đặt ở đâu và khi nào dừng lại. Bài viết sẽ đi từ một phép chia duy nhất tới toàn bộ cây, sau đó chỉ ra vì sao một cây đơn thường được dùng làm mô hình cơ sở (base learner) cho Random Forest.

]]>