Bagging - Nhãn - NZQIRC https://nzqirc.xyz/tags/bagging/ Bagging - Nhãn - NZQIRC Hugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Fri, 18 Sep 2026 21:00:00 +0700 Lộ trình từ Decision Tree đến Random Forest https://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/ Fri, 18 Sep 2026 21:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/ Một cây quyết định (DT) sâu có độ chệch thấp nhưng phương sai rất cao: nó học vẹt nhiễu và rất nhạy với dữ liệu huấn luyện. Bagging và Random Forest (RF) cùng dùng triết lý “sức mạnh số đông” để dập tắt phương sai, nhưng ở hai cấp độ khác nhau.

1. Bagging: Hội đồng đọc chung tài liệu

Thay vì tin 1 cây, Bagging rút mẫu bootstrap tạo $B$ tập con, trồng cây DT nguyên bản trên mỗi tập rồi lấy trung bình dự đoán:

]]> Bagging: Giảm phương sai cho cây học máy https://nzqirc.xyz/posts/math/stats/bagging/ Fri, 18 Sep 2026 20:50:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/bagging/ Một cây quyết định sâu có độ chệch thấp nhưng phương sai rất cao: nó ghi nhớ nhiễu và rất nhạy với mẫu huấn luyện.

Năm 1996, Leo Breiman đề xuất Bagging (Bootstrap Aggregating) giúp triệt tiêu phương sai mà không tăng độ chệch.

1. Trực giác toán học: Sức mạnh số đông

$$ \operatorname{Var}\left(\frac{1}{B}\sum_{b=1}^B \hat{f}_b(x)\right) = \frac{\sigma^2}{B}. $$

Không thể thu thập thêm dữ liệu thật, Bagging dùng Bootstrap: tái lấy mẫu có hoàn lại từ tập ban đầu để tạo $B$ tập huấn luyện.

]]>