Dữ liệu hậu huấn luyện công khai nhiều hơn, trong khi dữ liệu ngôn ngữ của các mô hình tiền huấn luyện lại giữ kín, thật là đáng tiếc.

Nhóm NLP của Stanford trên Twitter cho biết, dữ liệu huấn luyện trí tuệ nhân tạo công khai hiện tại chủ yếu được sử dụng trong giai đoạn hậu huấn luyện, đặc biệt đối với các mô hình như Qwen. Những mô hình này có thể đã được huấn luyện trên một lượng lớn dữ liệu trí tuệ nhân tạo. Họ cho rằng, để huấn luyện từ đầu một mô hình mã nguồn mở xuất sắc cần một lượng dữ liệu trí tuệ nhân tạo lớn hơn nhiều so với quy mô chỉ dựa vào trọng số mở để hậu huấn luyện, làm nổi bật sự thiếu hụt dữ liệu trí tuệ nhân tạo trong giai đoạn tiền huấn luyện. Nguồn: InFoQ