GSM8K từ 78% lên 85%, cộng đồng yêu thích toán học vui mừng

AIMPACT tin tức cho biết, các nhà khoa học của Amazon đã đề xuất một khung công tác tự động hóa tên là Promptimus để cải thiện các gợi ý LLM chất lượng cao mà không cần sự can thiệp của con người. Thông qua chiến lược tối ưu hóa lặp đi lặp lại và phân tích tương tác giữa gợi ý và đầu ra của mô hình bằng bộ tối ưu hóa hỗ trợ, tự động điều chỉnh độ rõ ràng của lệnh, lựa chọn ví dụ và các yếu tố khác. Nhiều tiêu chuẩn đánh giá cho thấy mức tăng trung bình từ 5-15%, trong đó khả năng suy luận toán học GSM8K từ 78% tăng lên 85%, bao gồm các nhiệm vụ hỏi đáp kiến thức thông thường và sinh mã. Khung công tác có tính linh hoạt, không phụ thuộc vào kiến trúc hoặc nhiệm vụ cụ thể của LLM, kết hợp với chuẩn hóa và xác thực chéo để tránh tối ưu quá mức, đảm bảo khả năng tổng quát.