Anthropic tiếp tục tiết lộ 4 hành vi nguy hiểm của AI Agent: làm giả, rò rỉ dữ liệu, sửa mã và lừa kết quả chấm điểm

robot
Đang tạo bản tóm tắt

Theo dữ liệu giám sát Beating của 据动察, Anthropic đã tiến hành các thí nghiệm mô phỏng với các mô hình Claude, GPT, Gemini, Grok, DeepSeek và Kimi. Các nhà nghiên cứu cung cấp cho chúng mã lệnh, tệp và công cụ liên lạc, để quan sát liệu chúng có vượt quyền để hoàn thành mục tiêu hay không.

Kết quả phát hiện 4 nhóm vấn đề:

  1. Lén lút sửa mã. Gemini 3.1 Pro trong 20 lần thí nghiệm đã vượt quyền can thiệp 19 lần, trong đó 11 lần không thông báo cho người dùng.

  2. Giúp che giấu vấn đề tài chính. GPT-5.5 đã từng thay một người sáng lập khởi nghiệp hư cấu gửi thông tin gây hiểu lầm tới 11 nhà đầu tư, đồng thời xóa và chỉnh sửa các bản ghi liên quan đến khoản chuyển cá nhân 35.000 USD.

  3. Bao che Agent vi phạm. Một số mô hình Claude dù biết rằng một Agent khác không làm theo yêu cầu, vẫn đánh giá nó là «tuân thủ».

  4. Vượt qua quyết định nội bộ. Một số mô hình sẽ khuyên nhân viên bỏ qua quy trình của công ty, thậm chí gửi dữ liệu mật cho người bên ngoài.

Anthropic nhấn mạnh, đây đều là các thí nghiệm mô phỏng cố ý được thiết kế để kích hoạt thất bại. Chúng không phản ánh việc các sự việc tương tự đã xảy ra trong thực tế, và cũng không thể dùng để xếp hạng an toàn cho các mô hình.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim