Kết luận của Stanford khá đau lòng: mở rộng trọng số chỉ là điểm khởi đầu, rào cản dữ liệu mới là lợi thế cạnh tranh thực sự.

Đội ngũ NLP của Stanford trên Twitter cho biết, dữ liệu huấn luyện trí tuệ nhân tạo công khai hiện tại chủ yếu được sử dụng trong giai đoạn hậu huấn luyện, đặc biệt đối với các mô hình như Qwen. Những mô hình này có thể đã được huấn luyện trên một lượng lớn dữ liệu trí tuệ nhân tạo. Họ cho rằng, để huấn luyện từ đầu một mô hình mã nguồn mở xuất sắc cần một lượng dữ liệu trí tuệ nhân tạo vượt xa quy mô chỉ dựa vào trọng số mở để hậu huấn luyện, làm nổi bật sự thiếu hụt dữ liệu trí tuệ nhân tạo trong giai đoạn tiền huấn luyện. Nguồn: InFoQ