Thử nghiệm chuyên sâu React: GPT-5.6 đứng đầu ở Sol, nhưng kết quả tốt nhất chỉ 43,1%

robot
Đang tạo bản tóm tắt
Theo dõi Beating của 据动察, đội ngũ Million chuyên phát triển công cụ React đã ra mắt ReactBench v1, nhằm kiểm tra liệu các AI programming agent có thể hoàn thành các nhiệm vụ phát triển React thực tế hay không, đồng thời tránh đưa vào các vấn đề mã mới.

React là thư viện JavaScript phổ biến để xây dựng giao diện website và app. Trước đây, Million đã phát triển các công cụ mã nguồn mở như React Scan, React Doctor và Million.js.

ReactBench chọn ra 51 nhiệm vụ thực tế từ các dự án mã nguồn mở. Ngoài việc kiểm tra liệu chức năng có chạy được hay không, nó còn dùng hơn 400 quy tắc để phát hiện lỗi chương trình, hiệu năng, tính tiếp cận và chất lượng mã.

GPT-5.6 Sol dẫn đầu với 43,1% điểm tổng hợp, Fable 5 đạt 41,2%. Bên công bố cho biết khoảng cách giữa hai bên là không lớn, tạm thời chưa thể xác nhận Sol mạnh hơn rõ rệt. Khi cùng cấu hình XHigh, chi phí cho mỗi lần kiểm thử của Fable 5 vào khoảng 6,3 lần Sol.

Dù ở cấu hình có điểm cao nhất, số nhiệm vụ được hoàn thành thành công cũng chưa đến một nửa. Trong 4.455 lượt thử nghiệm phát triển tính năng mới, các mô hình cùng nhau đưa vào 1.194 vấn đề React, trong đó 77,5% là lỗi chương trình hoặc vấn đề an toàn.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim