Google đề xuất phương pháp đánh giá liên tục trong kỹ thuật để đối phó với thách thức đánh giá môi trường sản xuất của AI agent

Tin tức ME, ngày 4 tháng 4 (UTC+8). Gần đây, GoogleCloudTech đã đăng một bài viết cho biết, trong môi trường sản xuất, việc dựa vào trò chuyện thủ công và cảm nhận chủ quan (tức “kiểm tra bầu không khí”) để đánh giá AI agent là không đáng tin cậy và có thể gây ra thảm họa. Quan điểm trong bài viết cho rằng, do đặc tính theo xác suất của AI tạo sinh, chỉ cần một thay đổi rất nhỏ trong prompt hoặc trọng số mô hình cũng có thể khiến hiệu năng suy giảm đáng kể. Để giải quyết vấn đề này, bài viết đề xuất một phương pháp kỹ thuật áp dụng đánh giá liên tục (CE). Phương pháp này phân biệt hai chế độ trong kỹ thuật AI: chế độ khám phá (phòng thí nghiệm) và chế độ phòng thủ (nhà máy). Chế độ khám phá tập trung vào việc tìm kiếm tiềm năng của mô hình thông qua một số lượng ít ví dụ và các “kiểm tra bầu không khí”; trong khi chế độ phòng thủ lại ưu tiên tính ổn định, thông qua việc đánh giá dựa trên bộ dữ liệu, cơ chế kiểm soát chặt chẽ và các chỉ số tự động để đảm bảo hệ thống đáp ứng các mục tiêu mức dịch vụ (SLO). Bài viết cảnh báo rằng nhiều đội ngũ sẽ để lâu trong chế độ khám phá. Bài viết cũng nêu ví dụ về một hệ thống đa tác nhân phân tán (hệ thống người tạo khóa học) được xây dựng dựa trên Cloud Run và giao thức Agent2Agent, để minh họa cách áp dụng chế độ phòng thủ cho việc triển khai AI cấp độ sản xuất đáng tin cậy và có thể mở rộng, bằng việc tuân thủ nguyên tắc tách biệt mối quan tâm và sử dụng các tác nhân chuyên trách (như nghiên cứu viên, thẩm phán, người xây dựng nội dung, điều phối viên). (Nguồn: InFoQ)