Tiêu chí Thông tin Bayes (BIC)

Trong mô hình hóa thống kê, chúng ta luôn đối mặt với một sự cám dỗ: việc thêm càng nhiều biến (tham số) vào mô hình sẽ luôn làm tăng độ khớp (goodness-of-fit) trên tập dữ liệu huấn luyện. Tuy nhiên, một mô hình quá phức tạp sẽ học cả những nhiễu ngẫu nhiên (noise) của mẫu, dẫn đến hiện tượng quá khớp (overfitting) và dự báo cực kỳ kém trên dữ liệu mới.

Để giải quyết bài toán lựa chọn mô hình, chúng ta cần một tiêu chí đánh giá có tính đến hàm phạt (penalty) dành cho sự phức tạp. Tiêu chí Thông tin Bayes (Bayesian Information Criterion - BIC), do Gideon E. Schwarz giới thiệu năm 1978, là một trong những công cụ phổ biến nhất.

Công thức và Trực giác

$$ \text{BIC} = k \ln(n) - 2 \ln(\hat{L}) $$

Trong đó:

• $k$: số lượng tham số độc lập trong mô hình.
• $n$: cỡ mẫu (số lượng quan sát).
• $\hat{L}$: giá trị cực đại của hàm hợp lý (Maximum Likelihood) của mô hình.

Ta có thể thấy BIC bao gồm hai thành phần đối nghịch nhau:

1. Phần thưởng cho độ khớp ($-2 \ln(\hat{L})$): Mô hình càng khớp với dữ liệu, hàm hợp lý $\hat{L}$ càng lớn, khiến thành phần này mang giá trị âm lớn hơn (giảm BIC).
2. Hàm phạt cho sự phức tạp ($k \ln(n)$): Mỗi tham số $k$ được thêm vào sẽ làm tăng BIC một lượng là $\ln(n)$.

Nguyên tắc ra quyết định: Khi so sánh một tập hợp các mô hình ứng viên, mô hình nào có giá trị BIC thấp nhất sẽ được ưu tiên chọn lựa. Nó đại diện cho sự cân bằng tối ưu giữa việc giải thích tốt dữ liệu và giữ cho mô hình đủ đơn giản.

Bối cảnh và Động lực

Mạch tư duy dẫn đến BIC xuất phát từ góc nhìn Bayes. Giả sử ta có một tập hợp các mô hình, ta muốn tính xác suất hậu nghiệm (posterior probability) của từng mô hình dựa trên dữ liệu. Schwarz đã chứng minh toán học rằng, với một số giả định về phân phối tiên nghiệm (prior), BIC chính là xấp xỉ tiệm cận của hàm logarit biên hợp lý (log marginal likelihood). Nói cách khác, chọn mô hình có BIC nhỏ nhất về mặt xấp xỉ tương đương với việc chọn mô hình có xác suất hậu nghiệm cao nhất.

So sánh với AIC (Akaike Information Criterion)

$$ \text{AIC} = 2k - 2 \ln(\hat{L}) $$

Sự khác biệt duy nhất nằm ở hàm phạt: AIC phạt $2k$ trong khi BIC phạt $k \ln(n)$.

• Nếu cỡ mẫu $n \geq 8$, ta có $\ln(n) > 2.079 > 2$. Do đó, với các cỡ mẫu thông thường, BIC đặt hàm phạt nặng hơn AIC đối với việc thêm tham số mới.
• Hệ quả là, BIC có xu hướng ưu tiên chọn những mô hình đơn giản hơn (ít tham số hơn) so với AIC. Về mặt lý thuyết tiệm cận, nếu mô hình thực sự (true model) nằm trong tập ứng viên, BIC sẽ xác định đúng mô hình đó khi $n \to \infty$ (tính nhất quán - consistency), trong khi AIC có xu hướng tiếp tục chọn mô hình phức tạp hơn cần thiết.

Lưu ý quan trọng

Cũng giống như AIC, BIC là một thước đo tương đối. Bản thân một con số BIC $= 1500$ không có ý nghĩa gì về mặt tuyệt đối. Nó chỉ có giá trị khi được so sánh với BIC của một mô hình khác trên cùng một tập dữ liệu. BIC không đánh giá xem mô hình “tốt” hay “tồi” so với thực tế, nó chỉ cho biết mô hình nào là sự thỏa hiệp tốt nhất trong số các ứng viên được đưa ra.