Rừng ngẫu nhiên (Random Forest) xử lý điểm yếu ấy bằng một ý tưởng đơn giản: tạo nhiều cây hơi khác nhau rồi gộp dự đoán của chúng. Mỗi cây được huấn luyện trên một mẫu bootstrap, đồng thời chỉ được xét một tập con ngẫu nhiên của các đặc trưng tại mỗi nút. Với bài toán phân loại, các cây bỏ phiếu; với bài toán hồi quy, ta lấy trung bình các dự đoán.