Công ty mới của cựu CTO OpenAI ra mắt mô hình mã nguồn mở đầu tiên Inkling, kiến trúc tham khảo DeepSeek-V3

robot
Đang tạo bản tóm tắt
Theo dõi Beating của động察, Thinking Machines Lab do cựu CTO OpenAI Mira Murati sáng lập đã ra mắt mô hình đa dụng đầu tiên là Inkling. Tổng số tham số của mô hình là 97,5 tỷ, mỗi lần kích hoạt 41 tỷ, hỗ trợ văn bản, hình ảnh và âm thanh, với ngữ cảnh tối đa là 1 triệu token.

Inkling được huấn luyện từ đầu, nhưng kiến trúc MoE chủ yếu tham chiếu DeepSeek-V3. Ở giai đoạn đầu của huấn luyện sau đó, mô hình cũng sử dụng dữ liệu tạo ra từ các mô hình mã nguồn mở như Kimi K2.5. Toàn bộ trọng số đã được niêm yết trên Hugging Face, theo giấy phép Apache 2.0.

Thinking Machines thừa nhận rõ ràng rằng hiện tại Inkling không phải là mô hình mạnh nhất. Mô hình tập trung vào tùy biến và hiệu quả. Trên Terminal Bench 2.1, để đạt thành tích tương tự, lượng token sử dụng chỉ khoảng một phần ba so với NVIDIA Nemotron 3 Ultra.
NVDA0,33%
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim