ByteDance cuối cùng đã phát hành mô hình ngôn ngữ phân tán, 23B tham số thực hiện tạo văn bản trong không gian tiềm ẩn, ý tưởng khá táo bạo.

Xem bản gốc
MeNews
ByteDance mở nguồn Cola DLM: Định nghĩa lại sinh văn bản bằng mô hình khuếch tán
ByteDance Seed mã nguồn mở Cola DLM, là một bộ mô hình mở rộng văn bản trong tầng ngữ nghĩa tiềm ẩn.
Text VAE ánh xạ văn bản vào không gian tiềm ẩn liên tục,
block-causal DiT học tập prior tiềm ẩn thông qua Flow Matching,
cuối cùng bộ giải mã điều kiện phục hồi biến tiềm ẩn thành văn bản.
Tổng số tham số khoảng 2.3 tỷ (DiT 1.8 tỷ, VAE 500 triệu).
Trong 8 bài đánh giá, cạnh tranh với các baseline AR/LLaDA cùng quy mô và đứng đầu,
nhưng vẫn là checkpoint nghiên cứu, chưa qua tinh chỉnh theo hướng dẫn hoặc RLHF,
hiện kho lưu trữ chỉ chứa pipeline văn bản,
tương lai có thể mở rộng sang văn bản-ảnh.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim