Mã nguồn mở rồi! Nous lần này đã đưa logic lọc ra ngoài nhân, không cần sửa đổi nền tảng CUDA cũng không cần thêm mục tiêu huấn luyện, dễ dàng sử dụng, điểm đau của hạ tầng văn bản dài đã được giải quyết.

AIMPACT cho biết, Nous Research đã mở nguồn cơ chế tiền huấn luyện dài ngữ cảnh Lighthouse Attention. Một card B200 xử lý 512K văn bản nhanh gấp khoảng 17 lần, khi 98K thì tăng tốc toàn bộ 1.4–1.7 lần. Cơ chế này trước tiên sơ bộ lọc rồi tinh chỉnh, qua nhiều cấp tóm tắt để chọn ra các đoạn cốt lõi rồi ghép thành văn bản ngắn, sau đó giao cho FlashAttention xử lý; logic lọc nằm ngoài nhân, không cần mã nền và mục tiêu huấn luyện bổ sung. Để tránh mô hình bỏ qua khả năng đọc từng chữ khi nhảy qua các phần, trong huấn luyện ban đầu sử dụng chế độ tăng tốc để hoàn thành phần lớn, rồi cuối cùng tạm thời chuyển về chú ý toàn phần. Trong thử nghiệm với 5.3 tỷ tham số, 500 tỷ Token, thời gian tiêu hao giảm rõ rệt và hiệu suất cuối cùng tương đương hoặc vượt qua các cơ sở truyền thống.