Google đề xuất phương pháp đánh giá liên tục trong kỹ thuật để đối phó với thách thức đánh giá môi trường sản xuất của AI agent

Tin tức ME: Thông tin, ngày 4 tháng 4 (UTC+8). Gần đây, GoogleCloudTech đã đăng bài, cho biết việc dựa vào trò chuyện thủ công và cảm nhận chủ quan (tức “kiểm tra bầu không khí”) để đánh giá tác nhân AI trong môi trường sản xuất là không đáng tin cậy và có thể dẫn đến thảm họa. Quan điểm trong bài viết cho rằng, do đặc tính dựa trên xác suất của AI tạo sinh, chỉ một thay đổi nhỏ về prompt hoặc trọng số mô hình cũng có thể làm suy giảm hiệu năng đáng kể. Để giải quyết vấn đề này, bài viết đề xuất một phương pháp kỹ thuật áp dụng đánh giá liên tục (CE). Phương pháp này phân biệt hai chế độ trong kỹ thuật AI: chế độ khám phá (trong phòng thí nghiệm) và chế độ phòng thủ (trong nhà máy). Chế độ khám phá tập trung vào việc tìm kiếm tiềm năng của mô hình thông qua một số ít ví dụ và kiểm tra bầu không khí; chế độ phòng thủ thì tập trung vào tính ổn định, bằng việc đánh giá dựa trên bộ dữ liệu, cổng kiểm soát chặt chẽ và các chỉ số tự động để đảm bảo hệ thống đáp ứng các mục tiêu mức độ dịch vụ (SLO). Bài viết cảnh báo rằng nhiều nhóm có thể ở lại lâu dài trong chế độ khám phá. Trong bài cũng lấy ví dụ về một hệ thống đa tác nhân phân tán (hệ thống người tạo khóa học) được xây dựng dựa trên Cloud Run và giao thức Agent2Agent, để minh họa việc thực hành chế độ phòng thủ cho các triển khai AI cấp độ sản xuất đáng tin cậy và có khả năng mở rộng, thông qua việc tuân thủ nguyên tắc tách biệt mối quan tâm và sử dụng các tác nhân chuyên biệt (như nghiên cứu viên, thẩm phán, người xây dựng nội dung, điều phối viên). (Nguồn: InFoQ)