NVIDIA mở mã nguồn Nemotron 3.5 Lightning, nhanh hơn 30% so với các mô hình cùng loại

NVIDIA đã phát hành Nemotron 3.5 Lightning, mô hình AI mã nguồn mở mới nhất thuộc dòng Nemotron 3, sở hữu 30B tham số, sử dụng kiến trúc hỗn hợp chuyên gia (MoE), được xây dựng cho các tác vụ cụ thể trong các hệ thống đa tác tử quy mô lớn và có thể vận hành trên một GPU duy nhất. Theo blog chính thức, các tác tử hoàn thành tác vụ nhanh hơn 30% so với khi sử dụng các mô hình cùng loại.

Thông số kỹ thuật và các doanh nghiệp đã triển khai Nemotron 3.5 Lightning

Theo blog chính thức của NVIDIA, các thông số kỹ thuật chính của Nemotron 3.5 Lightning như sau:

Kiến trúc mô hình: Mô hình hỗn hợp chuyên gia (MoE) với 30B tham số

Mục tiêu thiết kế: Các tác vụ cụ thể trong các hệ thống đa tác tử quy mô lớn

Yêu cầu phần cứng: Có thể vận hành trên một GPU duy nhất (thiết kế “nhẹ”)

Tốc độ đầu ra: Có thể nhanh hơn tới 4 lần

Tốc độ hoàn thành tác vụ: Các tác tử hoàn thành tác vụ nhanh hơn 30% so với khi sử dụng các mô hình cùng loại

Tính khả dụng: Đã được phát hành trên Hugging Face, bao gồm trọng số mô hình, dữ liệu và công thức huấn luyện

NVIDIA cho biết các công ty như CrowdStrike, Harvey và CodeRabbit đã thử nghiệm và tùy chỉnh mô hình này; doanh nghiệp có thể sử dụng các công cụ NVIDIA NeMo để hậu huấn luyện mô hình dựa trên dữ liệu lĩnh vực, công cụ và quy trình làm việc của chính mình, nhằm nâng cao độ chính xác cho các tác vụ cụ thể.

NeMo Switchyard: Thư viện mã nguồn mở cho định tuyến thông minh

Theo NVIDIA, NeMo Switchyard là một thư viện mã nguồn mở dùng để triển khai định tuyến thông minh trong các công cụ tác tử phổ biến. Sau khi được triển khai, thư viện có thể định tuyến thông minh từng yêu cầu đến mô hình phù hợp nhất với tác vụ đó mà không cần nhà phát triển viết lại ứng dụng.

NVIDIA cho biết doanh nghiệp có thể tận dụng NeMo Switchyard để xây dựng bộ định tuyến phù hợp với nhu cầu cụ thể của mình.

Sự ủng hộ công khai của Hoàng Nhân Huân đối với AI mã nguồn mở và bối cảnh ngành

Theo các báo cáo, việc phát hành Nemotron 3.5 Lightning diễn ra đúng lúc CEO Hoàng Nhân Huân công khai bày tỏ sự ủng hộ đối với các mô hình có trọng số mở, cho rằng chúng rất quan trọng đối với vị thế dẫn đầu của Mỹ trong lĩnh vực AI.

Cùng ngày, Meta cũng phát hành mô hình AI mã nguồn mở Muse Glimmer. Ngoài ra, vào tháng trước, Meta, NVIDIA và các công ty công nghệ khác đã cùng ký một bức thư ngỏ, cảnh báo Mỹ không nên hạn chế các mô hình AI mã nguồn mở của nước ngoài.

Câu hỏi thường gặp

Nemotron 3.5 Lightning là gì?

Theo blog chính thức của NVIDIA, Nemotron 3.5 Lightning là mô hình hỗn hợp chuyên gia (MoE) mã nguồn mở sở hữu 30B tham số, được xây dựng cho các tác vụ cụ thể trong các hệ thống đa tác tử quy mô lớn, có thể vận hành trên một GPU duy nhất, có tốc độ đầu ra nhanh hơn tới 4 lần và giúp các tác tử hoàn thành tác vụ nhanh hơn 30% so với khi sử dụng các mô hình cùng loại.

Có thể tải Nemotron 3.5 Lightning ở đâu?

Theo NVIDIA, mô hình đã được phát hành trên Hugging Face, bao gồm trọng số mô hình, dữ liệu và công thức huấn luyện. Doanh nghiệp có thể sử dụng các công cụ NVIDIA NeMo để hậu huấn luyện mô hình nhằm nâng cao độ chính xác cho các tác vụ cụ thể.

NeMo Switchyard có chức năng gì?

Theo NVIDIA, NeMo Switchyard là một thư viện mã nguồn mở dùng để triển khai định tuyến thông minh trong các công cụ tác tử phổ biến. Sau khi được triển khai, thư viện có thể định tuyến thông minh từng yêu cầu đến mô hình phù hợp nhất mà không cần nhà phát triển viết lại ứng dụng.