Statistics-Basic - Nhãn - NZQIRC https://nzqirc.xyz/tags/statistics-basic/ Statistics-Basic - Nhãn - NZQIRC Hugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Fri, 18 Sep 2026 18:12:00 +0700 Score Function Là Gì? Độ Dốc Log-Likelihood Và Nền Tảng Của Thông Tin Fisher https://nzqirc.xyz/posts/math/stats/score-function/ Fri, 18 Sep 2026 18:12:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/score-function/ Khi làm việc với các mô hình xác suất tham số, câu hỏi trung tâm của việc học tham số là: Nếu ta nhích nhẹ tham số mô hình $\theta$ một lượng vi phân, hàm hợp lý của dữ liệu quan sát sẽ phản ứng nhạy bén đến mức nào?

Công cụ toán học chuẩn mực để định lượng độ nhạy này chính là Score Function. Khác với các đạo hàm hàm số thông thường trong giải tích, Score Function là một biến ngẫu nhiên. Nó sở hữu hai tính chất xác suất nền tảng: kỳ vọng của nó luôn bằng $0$, và phương sai của nó chính là Thông tin Fisher (Fisher Information).

]]> Vì Sao Ước Lượng Hợp Lý Cực Đại (MLE) Chạm Tới Chặn Cramér-Rao Khi Mẫu Lớn? https://nzqirc.xyz/posts/math/stats/mle-asymptotic-efficiency/ Fri, 18 Sep 2026 18:10:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/mle-asymptotic-efficiency/ Trong thống kê suy diễn, Bất đẳng thức Cramér-Rao (CRLB) đặt ra một giới hạn lý thuyết tối hậu: không một ước lượng không chệch nào có thể đạt phương sai nhỏ hơn nghịch đảo của Thông tin Fisher:

$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}. $$

Nhưng CRLB chỉ là một chặn dưới lý thuyết. Câu hỏi đặt ra là: Làm thế nào để tìm được một phương pháp ước lượng tổng quát có thể chạm tới giới hạn lý tưởng này?

]]> Bất Đẳng Thức Cramér-Rao (CRLB): Giới Hạn Tối Hậu Cho Độ Chính Xác Ước Lượng https://nzqirc.xyz/posts/math/stats/cramer-rao-bound/ Fri, 18 Sep 2026 18:05:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/cramer-rao-bound/ Trong lý thuyết ước lượng thống kê (estimation theory), khi muốn suy đoán một tham số tiềm ẩn $\theta$ từ dữ liệu ngẫu nhiên, trực giác tự nhiên thôi thúc chúng ta tìm kiếm các ước lượng không chệch (unbiased estimators) có phương sai càng nhỏ càng tốt.

Nhưng một câu hỏi nền tảng đặt ra là: Liệu có tồn tại một giới hạn vật lý tối hậu mà phương sai của mọi ước lượng không chệch không bao giờ có thể vượt qua?

]]> Tại Sao 'Thông Tin' Lại Dùng Logarit? https://nzqirc.xyz/posts/math/stats/why-information-uses-log/ Fri, 18 Sep 2026 18:00:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/why-information-uses-log/ Vì log gần như là hàm tự nhiên nhất khi ta muốn một đại lượng gọi là “information”.

1. Trực giác cốt lõi: Xác suất nhân, thông tin cộng

Nếu hai sự kiện độc lập xảy ra với xác suất $p$ và $q$, thì xác suất để cả hai cùng xảy ra là $pq$.

Nhưng ta muốn lượng thông tin thu được phải cộng dồn:

$$ I(pq) = I(p) + I(q). $$

Hàm liên tục thỏa mãn tính chất này có dạng:

]]> Thông Tin Fisher (Fisher Information): Dữ Liệu Tiết Lộ Bao Nhiêu Về Tham Số Ẩn? https://nzqirc.xyz/posts/math/stats/fisher-information/ Fri, 18 Sep 2026 17:50:00 +0700 Du Mã https://nzqirc.xyz/posts/math/stats/fisher-information/ Khi quan sát một tập dữ liệu ngẫu nhiên, câu hỏi trung tâm của thống kê suy diễn (inferential statistics) là: Dữ liệu này tiết lộ cho chúng ta bao nhiêu thông tin về tham số ẩn của mô hình?

Năm 1925, nhà thống kê và di truyền học Ronald A. Fisher giới thiệu một khái niệm nền tảng nhằm định lượng câu hỏi trên: Thông tin Fisher (Fisher Information). Khác với Entropy của Shannon vốn đo lường độ bất định trung bình của bản thân biến cố ngẫu nhiên, Thông tin Fisher đo lường độ nhạy của dữ liệu quan sát đối với một tham số mô hình $\theta$.

]]>