Stanford NLP: Phần lớn dữ liệu đào tạo trí thông minh công khai vẫn tập trung vào giai đoạn hậu đào tạo

robot
Đang tạo bản tóm tắt
AIMPACT tin nhắn, ngày 15 tháng 5 (UTC+8), nhóm NLP Stanford đã chỉ ra trên Twitter rằng hiện tại phần lớn dữ liệu huấn luyện trí tuệ nhân tạo (agentic) công khai vẫn chủ yếu tập trung vào giai đoạn hậu huấn luyện (post-training), đặc biệt là cho các mô hình như Qwen (những mô hình này có thể đã được huấn luyện trên một lượng lớn dữ liệu trí tuệ nhân tạo). Nhóm cho rằng, để huấn luyện từ đầu một mô hình mã nguồn mở tốt, lượng dữ liệu trí tuệ nhân tạo cần thiết còn vượt xa so với chỉ hậu huấn luyện từ các trọng số mở, điều này làm nổi bật những thiếu hụt của dữ liệu huấn luyện trí tuệ nhân tạo hiện tại trong giai đoạn tiền huấn luyện. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 6
  • 8
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
DrawTheCandlestickChartIn
· 2giờ trước
Điều này giải thích tại sao khả năng của một số mô hình Agent lại thất thường, nền tảng chưa được xây dựng vững chắc.
Xem bản gốcTrả lời0
NeonMeltsIceCream
· 10giờ trước
Mô hình mã nguồn mở muốn bắt kịp, chi phí dữ liệu của Agent trong giai đoạn tiền huấn luyện quá cao, nhóm nhỏ không thể chơi nổi.
Xem bản gốcTrả lời0
VineGeometry
· 10giờ trước
Cảm giác hiện tại mọi người đều đang cạnh tranh về huấn luyện sau, rào cản dữ liệu tiền huấn luyện mới là thực sự là hàng rào phòng thủ.
Xem bản gốcTrả lời0
DexterRamen
· 10giờ trước
Qwen bị gọi tên rồi haha, nhưng thực sự là khả năng Agent nổi bật nhất trong mã nguồn mở.
Xem bản gốcTrả lời0
GateUser-9568ced5
· 10giờ trước
Vấn đề thiếu dữ liệu tiền huấn luyện khá quan trọng, huấn luyện sau cũng không thể bù đắp nền tảng.
Xem bản gốcTrả lời0
Can'tSleepWithoutSigningThe
· 10giờ trước
Quan điểm của Stanford thật thú vị, sự chênh lệch về quy mô dữ liệu của các hệ thống trí tuệ nhân tạo lớn hơn nhiều so với tưởng tượng.
Xem bản gốcTrả lời0
  • Đã ghim