Hồi quy tuyến tính (Linear Regression): Trực giác đằng sau đường thẳng khớp nhất
Hồi quy tuyến tính (Linear Regression) có lẽ là thuật toán học máy (machine learning) cơ bản và lâu đời nhất. Mặc dù có chữ “machine learning” nghe rất hiện đại, gốc rễ của nó đã được các nhà toán học như Gauss và Legendre tìm ra từ đầu thế kỷ 19.
Khi bạn có một tập hợp các điểm dữ liệu và bạn nhận thấy chúng có vẻ tuân theo một xu hướng tăng hoặc giảm, câu hỏi tự nhiên là: Làm sao để vẽ một đường thẳng đại diện tốt nhất cho xu hướng đó?
1. Trực giác về “Đường thẳng tốt nhất”
Giả sử chúng ta đang dự đoán Giá nhà (trục Y) dựa trên Diện tích (trục X). Mỗi điểm trên đồ thị là một căn nhà thực tế.
$$ y = mx + b $$Trong đó:
- $m$ (slope - độ dốc): Nếu diện tích tăng thêm 1 mét vuông, giá nhà tăng thêm bao nhiêu?
- $b$ (intercept - điểm cắt): Giá trị cơ bản khi diện tích bằng 0 (dù trong thực tế căn nhà không thể có diện tích 0, nhưng toán học cần điểm này để xác định vị trí đường thẳng).
Để biết một đường thẳng có “tốt” hay không, chúng ta tính sai số (error). Sai số của một điểm là khoảng cách dọc (theo trục Y) từ điểm dữ liệu đó đến đường thẳng. Vì có sai số âm (điểm nằm dưới đường thẳng) và sai số dương (điểm nằm trên), chúng ta thường bình phương chúng lên rồi cộng lại. Tổng này gọi là Tổng bình phương sai số (Sum of Squared Errors - SSE).
Đường thẳng “khớp nhất” (best fit) chính là đường thẳng làm cho SSE đạt giá trị nhỏ nhất (Ordinary Least Squares - OLS).
2. Mô phỏng Tương tác
Dưới đây là một tập dữ liệu mô phỏng. Hãy thử tự mình đóng vai “thuật toán học máy” bằng cách điều chỉnh các thanh trượt để thay đổi độ dốc ($m$) và điểm cắt ($b$).
Nhiệm vụ của bạn là làm cho Tổng sai số (SSE) càng nhỏ càng tốt. Khi bạn cảm thấy không thể làm nhỏ hơn được nữa, đường thẳng của bạn có thể đã rất gần với kết quả tính toán tối ưu của máy tính (đường đứt nét).
Biểu đồ 1: Tương tác tìm đường hồi quy tuyến tính. Đường màu đỏ là đường do bạn điều chỉnh. Đường đứt nét màu xanh là đường tối ưu (OLS).
Qua trực quan, chúng ta thấy rằng việc “huấn luyện” mô hình hồi quy tuyến tính thực chất là một quá trình dò tìm (trong máy tính là dùng đại số tuyến tính hoặc đạo hàm) để tìm ra cặp giá trị $(m, b)$ sao cho thung lũng sai số đạt đáy.