Machine-Learning - Nhãn - NZQIRC https://nzqirc.xyz/tags/machine-learning/ Machine-Learning - Nhãn - NZQIRC Hugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Tue, 08 Sep 2026 14:45:00 +0700 Entropy (Shannon Entropy): Đo lường sự bất ngờ và độ hỗn tạp thông tin https://nzqirc.xyz/posts/math/stats/entropy/ Tue, 08 Sep 2026 14:45:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/entropy/ Năm 1948, nhà toán học Claude Shannon đặt nền móng cho thời đại số với bài báo kinh điển “A Mathematical Theory of Communication”. Trọng tâm công trình ấy là câu hỏi tưởng chừng mang tính triết học: Làm thế nào để lượng hoá “lượng thông tin” chứa trong một thông điệp?

Câu trả lời của Shannon là khái niệm Entropy — thước đo độ bất định (uncertainty) và mức độ hỗn tạp của một nguồn dữ liệu. Trong học máy, Entropy chính là tiêu chí phân nhánh nền tảng của các thuật toán cây quyết định nổi tiếng như ID3 và C4.5.

]]>