Chỉ 2,8 nghìn tỷ tham số là mới bắt đầu: Kimi K3 đang đẩy cuộc cạnh tranh mô hình lớn bước sang “AI tạo AI”

作者: Climber，CryptoPulse Labs

Ngày 16 tháng 7, Mặt trăng tối chính thức ra mắt mô hình mã nguồn mở thế hệ mới Kimi K3. Mô hình có 2,8 nghìn tỷ tham số, cửa sổ ngữ cảnh 1 triệu Token, hỗ trợ gốc hiểu thị giác, và sử dụng các công nghệ như Kimi Delta Attention và Attention Residuals.

Đây là mô hình mã nguồn mở quy mô 3 nghìn tỷ đầu tiên trên toàn cầu. Dù hiệu năng tổng thể của Kimi K3 vẫn thua kém các mô hình đóng mạnh nhất như Claude Fable 5 và GPT-5.6 Sol, nhưng qua nhiều bài đánh giá, nó vẫn thể hiện trình độ tiên phong; Mặt trăng tối cho biết hiệu năng tổng thể của Kimi K3 ổn định hơn các mô hình thử nghiệm khác.

Điều đáng chú ý hơn là Kimi K3 còn tự mình hoàn thành thiết kế một con chip. Một mô hình lớn bắt đầu thử thiết kế phần cứng cần thiết để vận hành AI — điều này có thể còn đáng chú ý hơn bản thân con số 2,8 nghìn tỷ tham số.

I. Ẩn sau 2,8 nghìn tỷ tham số: cuộc cạnh tranh mô hình lớn chuyển từ quy mô sang hiệu suất

Trong vài năm qua, chỉ số dễ được hiểu nhất trong ngành mô hình lớn chính là số lượng tham số. Từ vài chục tỷ lên nghìn tỷ, rồi đến vạn tỷ, quy mô tham số gần như trở thành một biểu tượng quan trọng để đánh giá năng lực mô hình.

Nhưng khi quy mô mô hình đã đạt 2,8 nghìn tỷ tham số, vấn đề thực sự không còn là “mô hình lớn cỡ nào”, mà là: một mô hình khổng lồ như vậy được huấn luyện bằng cách nào? Mỗi tác vụ cần bao nhiêu tham số tham gia vào phép tính? Làm sao để mô hình có năng lực mạnh hơn trong khi vẫn kiểm soát chi phí vận hành?

Câu trả lời mà Kimi K3 đưa ra là tiếp tục mở rộng kiến trúc theo hướng thưa thớt hóa.

Theo Mặt trăng tối, Kimi K3 sử dụng Mixture of Experts, tức kiến trúc hỗn hợp chuyên gia. Mô hình có 896 mô-đun chuyên gia, nhưng mỗi tác vụ chỉ kích hoạt 16 chuyên gia trong số đó.

Điều này có nghĩa là mô hình có thể sở hữu dung lượng kiến thức khổng lồ, nhưng không cần gọi toàn bộ tham số mỗi lần. Ví dụ như một tổ chức siêu quy mô với 896 phòng ban chuyên môn; khi gặp từng vấn đề khác nhau, chỉ cần huy động đúng 16 phòng ban liên quan.

Giá trị cốt lõi của kiến trúc này nằm ở chỗ có thể tách rời tổng quy mô của mô hình và chi phí tính toán cho mỗi lần chạy.

Trong tương lai, cuộc cạnh tranh của các mô hình lớn không nhất định là ai có nhiều tham số hơn, mà là ai có thể sử dụng nhiều tham số hơn với chi phí thấp hơn một cách hiệu quả.

Một đổi mới cốt lõi khác của Kimi K3 là Kimi Delta Attention, viết tắt KDA. Kiến trúc Transformer truyền thống khi xử lý văn bản siêu dài sẽ làm tăng rõ rệt khối lượng tính toán và áp lực bộ nhớ. Mục tiêu của KDA là nâng cao hiệu suất khi mô hình xử lý thông tin chuỗi dài.

Song song đó, Kimi K3 đưa vào Attention Residuals, tức cơ chế chú ý phần dư. Các mô hình truyền thống thường truyền thông tin theo từng lớp một cách tuần tự, khiến thông tin được cộng dồn đến các lớp phía sau, nhưng cũng có thể gây dư thừa và suy giảm.

Attention Residuals lại cố gắng giúp mô hình “nhảy” qua các độ sâu khác nhau, chọn lọc gọi thông tin từ giai đoạn sớm hơn.

Nếu mô hình truyền thống giống như một dòng sông chảy từ điểm khởi đầu đến điểm đích, thì Attention Residuals giống như việc thiết lập một hệ thống truy xuất thông tin dọc đường; mô hình có thể gọi lại thông tin ở các độ sâu khác nhau tùy theo tác vụ.

Mặt trăng tối cho biết, so với Kimi K2, Kimi K3 đạt mức cải thiện hiệu suất mở rộng tổng thể khoảng 2,5 lần.

Điều này cho thấy ngành AI đang chuyển từ “càng lớn càng mạnh” sang “làm thế nào chuyển quy mô lớn hơn thành hiệu suất cao hơn”.

Ý nghĩa của Kimi K3 không chỉ là ra mắt một mô hình mã nguồn mở 2,8 nghìn tỷ tham số, mà còn là nâng giới hạn quy mô của mô hình mã nguồn mở thêm một bước.

Trước đây, mô hình mã nguồn mở thường được xem như kẻ bám đuổi các mô hình đóng. Ngày nay, mô hình mã nguồn mở bắt đầu tìm cách chứng minh rằng mô hình siêu quy mô cũng có thể được công khai, được nghiên cứu, và được phát triển lại.

II. Từ chatbot đến “nhân viên số”: Kimi K3 nhắm tới công việc phức tạp

Nếu 2,8 nghìn tỷ tham số là nhãn hiệu dễ lan truyền nhất của Kimi K3, thì hướng sản phẩm thực sự của nó lại là các tác vụ dài hạn.

Trước đây, trợ lý AI phần lớn chỉ trả lời câu hỏi. Người dùng đưa ra câu hỏi, mô hình đưa ra đáp án. Yêu cầu viết code, nó trả về code. Bảo tóm tắt bài viết, nó tạo bản tóm tắt.

Nhưng trong thực tế, những công việc phức tạp thường không thể hoàn thành bằng một lần hỏi–đáp.

Một nhà nghiên cứu có thể cần đọc bài báo, sắp xếp dữ liệu, xây dựng mô hình, chạy thí nghiệm, phân tích kết quả, rồi mới viết báo cáo. Một lập trình viên có thể cần đọc lượng lớn tệp, hiểu cấu trúc dự án, chỉnh sửa code để chạy thử nghiệm, tìm lỗi và lặp lại liên tục.

Các tác vụ này có đặc điểm chung: chu kỳ dài, nhiều bước, lượng thông tin lớn, và cần điều chỉnh bước tiếp theo liên tục dựa trên kết quả trung gian — chính là vấn đề mà Kimi K3 tìm cách giải quyết.

Trong một ví dụ mà Mặt trăng tối trình bày, Kimi K3 đã hoàn thành một nhiệm vụ nghiên cứu vật lý thiên thể tính toán. Bằng cách đọc và đối chiếu xác thực hơn 20 bài báo, hoàn thành tính toán số học, đánh giá hàng trăm phương trình trạng thái, phát hiện sự không nhất quán trong các công thức đã công bố, và tạo ra hơn 3.000 dòng mã Python cùng một bảng điều khiển HTML tương tác.

Theo thông tin chính thức, nhiệm vụ này mất khoảng 2 giờ; trong bối cảnh truyền thống có thể cần 1 đến 2 tuần của các nhà nghiên cứu giàu kinh nghiệm để làm tương tự.

Điều này không đồng nghĩa với việc AI đã có thể thay thế nhà nghiên cứu. Phần quan trọng nhất trong nghiên cứu thường là đặt ra vấn đề, đánh giá giả thuyết và giải thích kết quả.

Nhưng Kimi K3 lại cho thấy một thay đổi quan trọng: AI đang chuyển dần từ việc giúp con người hoàn thành từng bước sang tự hoàn thành cả một bộ quy trình làm việc. Đây chính là sự khác biệt giữa thời đại Agent và thời đại chatbot truyền thống.

Chatbot truyền thống giải quyết câu hỏi của bạn bằng cách trả lời. Agent thì giải quyết mục tiêu của bạn: nó tự phân rã nhiệm vụ, gọi công cụ, thực hiện các bước, kiểm tra kết quả và liên tục hiệu chỉnh.

Cửa sổ ngữ cảnh 1 triệu Token của Kimi K3 có ý nghĩa quan trọng trong quá trình này.

Với các kho mã lệnh lớn, báo cáo nghiên cứu, tài liệu doanh nghiệp và tài liệu dự án phức tạp, việc mô hình có thể hiểu nhiều thông tin cùng lúc đồng nghĩa với việc không cần quên ngữ cảnh thường xuyên, đồng thời người dùng cũng không cần lặp đi lặp lại bối cảnh.

Ngoài ra, Kimi K3 hỗ trợ hiểu thị giác ở mức gốc, giúp AI hình thành một vòng khép kín công việc đầy đủ hơn.

Ví dụ: sau khi AI viết code, có thể xem kết quả chạy trên web; sau khi AI tạo PPT, có thể kiểm tra bố cục trang; sau khi AI tạo nội dung, cũng có thể dựa vào phản hồi bằng hình ảnh để đánh giá kết quả.

Trước đây, AI giống như viết code khi nhắm mắt; tương lai, AI có thể tạo ra chuỗi hành động hiểu nhiệm vụ, tạo kết quả, quan sát kết quả, phát hiện vấn đề và chỉnh sửa kết quả.

Mặt trăng tối cũng mở rộng năng lực Kimi sang các kịch bản như Kimi Work, Kimi Code và Kimi API, lần lượt hướng tới nghiên cứu, tài liệu, bản thuyết trình, bảng biểu, bảng điều khiển và các tác vụ lập trình phức tạp.

Trong tương lai, AI thực sự có giá trị thương mại có thể không còn là mô hình trả lời nhiều câu hỏi nhất, mà là mô hình có thể hoàn thành nhiều công việc nhất.

Phần mềm truyền thống yêu cầu người dùng học quy trình thao tác phức tảy; còn mục tiêu của AI Agent là liên kết tìm kiếm, cơ sở dữ liệu, lập trình, phân tích dữ liệu và công cụ văn phòng, để người dùng chỉ cần mô tả mục tiêu cuối cùng.

Điều này có nghĩa là cạnh tranh trong ngành phần mềm tương lai có thể không còn là ai có nhiều công cụ hơn, mà là ai sở hữu một hệ thống AI thực thi mạnh hơn.

III. Thứ đáng chú ý nhất không phải là mô hình, mà là việc AI bắt đầu thiết kế chip

Phần gây ấn tượng nhất của Kimi K3 có lẽ là việc nó tự hoàn thành thiết kế chip.

Theo thông tin được Mặt trăng tối tiết lộ, trong một lần chạy tự chủ 48 giờ, Kimi K3 sử dụng các công cụ EDA mã nguồn mở và thư viện quy trình Nangate 45nm để hoàn thành thiết kế chip cho một mô hình nhỏ hướng tới kiến trúc của chính nó, cùng với tối ưu và xác thực.

Điều này không có nghĩa là Kimi K3 đã có thể tự hoàn thành việc thương mại hóa sản xuất hàng loạt chip AI tiên tiến ở công nghệ quy trình hiện đại. Quy trình 45nm còn cách xa các bộ tăng tốc AI tiên tiến nhất ngày nay; từ thiết kế đến sản xuất hàng loạt còn liên quan đến nhiều hạng mục phức tạp như IP, quy trình, sản xuất, đóng gói và cả hệ sinh thái chuỗi cung ứng.

Tuy vậy, thử nghiệm này vẫn mang ý nghĩa quan trọng, vì thiết kế chip không chỉ là viết code. Nó cần xử lý nhiều khâu như thiết kế logic, tổng hợp, bố trí đi dây, phân tích thời gian, tối ưu công suất và xác thực vật lý.

Trước đây, trong ngành chip, AI thường chỉ hỗ trợ kỹ sư làm các tác vụ cục bộ, chẳng hạn tối ưu bố cục, dự đoán thời gian, phát hiện lỗi thiết kế.

Còn Kimi K3 lại thể hiện một khả năng khác: AI không còn chỉ sử dụng công cụ, mà bắt đầu tự tổ chức các công cụ để hoàn thành trọn vẹn quy trình kỹ thuật.

Điều này rất giống với lộ trình phát triển của AI viết code. Ban đầu AI chỉ có thể tạo ra một đoạn code ngắn; sau đó có thể viết cả chương trình hoàn chỉnh; rồi có thể đọc kho mã, chạy thử nghiệm và sửa lỗi Bug. Hiện nay, AI bắt đầu thử thiết kế phần cứng cần thiết để vận hành AI.

Điều này có thể tạo ra một vòng lặp tự tăng cường cho AI: AI giúp thiết kế chip mạnh hơn, chip mạnh hơn huấn luyện ra mô hình mạnh hơn, và mô hình mạnh hơn lại hỗ trợ thiết kế thế hệ chip tiếp theo.

Đáng chú ý hơn, Kimi K3 còn cho thấy năng lực tự phát triển hệ thống lập trình GPU.

Theo Mặt trăng tối, Kimi K3 đã phát triển MiniTriton, một hệ thống biên dịch dạng gọn tương tự Triton, bao gồm lớp biểu diễn trung gian của riêng nó, quy trình tối ưu, và quy trình tạo mã PTX.

Điều này cho thấy ranh giới năng lực AI đang mở rộng từ việc sử dụng phần mềm sang việc tạo ra các công cụ phần mềm.

Trong tương lai, bản thân mô hình có thể trực tiếp tham gia tối ưu chip, phát triển trình biên dịch, thích ứng toán tử và tối ưu hệ thống — đây có thể là giá trị chiến lược quan trọng nhất của Kimi K3.

Nó không chỉ là một sản phẩm mô hình; mà đang khám phá một mô hình phát triển mang tính AI-native. Từ mô hình đến trình biên dịch, từ thuật toán đến chip, từ dữ liệu đến ứng dụng, AI dần trở thành một phần của toàn bộ cơ sở hạ tầng.

Tất nhiên, chip do AI tự thiết kế vẫn cần được xác minh nghiêm ngặt; các kết quả nghiên cứu do AI tạo ra cũng cần chuyên gia thẩm định; và khi AI tự thực hiện các tác vụ phức tạp, vẫn có thể xảy ra sai sót.

Nhưng Kimi K3 đã phát đi một tín hiệu quan trọng: AI đang chuyển từ “đối tượng được tạo ra” sang dần trở thành “chủ thể tham gia tạo ra thế hệ AI tiếp theo”.

Kết luận

Việc ra mắt Kimi K3, bề ngoài là một lần nâng cấp mô hình; nhưng bên dưới lại đại diện cho sự thay đổi trong logic cạnh tranh của mô hình lớn.

Từ quy mô tham số lớn hơn đến kiến trúc hiệu quả hơn. Từ trả lời câu hỏi đến hoàn thành công việc phức tạp, rồi đến việc tự phát triển trình biên dịch và thiết kế chip, AI đang dần tham gia vào việc tạo ra thế hệ AI tiếp theo.

2,8 nghìn tỷ tham số có lẽ chỉ là một con số; điều đáng quan tâm thực sự là việc AI bắt đầu thử thiết kế tương lai của chính nó.