Đăng

Mô hình điều phối do một người Trung Quốc 24 tuổi phát triển, giúp Claude và GPT phân ca làm việc — cảnh tượng này còn đáng giá hơn 4 triệu lượt xem. Chuyện định tuyến đa mô hình chẳng mới mẻ gì; điều mới mẻ là có người thực sự biến nó thành một sản phẩm. Tuần trước tôi vẫn còn phải tự chuyển qua chuyển lại giữa vài mô hình, đến mức phát bực — câu trả lời nằm ở những chi tiết. Tôi cá trong vòng một tháng, Anthropic hoặc OpenAI sẽ tự ra mắt lớp định tuyến chính thức. Cuối tuần quay lại xem nhé.



Cụ thể, mô hình điều phối này giống như sắp lịch cho các mô hình lớn: không bắt một mô hình làm tất cả, mà phân công dựa trên loại tác vụ, chi phí, độ trễ và yêu cầu chất lượng. Chẳng hạn, giao việc tóm tắt văn bản dài và suy luận phức tạp cho Claude, còn tạo mã, xuất đầu ra có cấu trúc và gọi công cụ thì giao cho GPT; khi có nhiều yêu cầu đồng thời, ưu tiên mô hình rẻ hơn, còn với những câu hỏi then chốt thì chuyển sang mô hình mạnh hơn. Cảnh tượng này đáng giá hơn 4 triệu lượt xem vì lượt xem cho thấy mọi người quan tâm, còn việc biến thành sản phẩm cho thấy có người đã chuyển sự “quan tâm” ấy thành một quy trình làm việc có thể vận hành. Bản thân việc định tuyến đa mô hình chẳng mới mẻ gì; OpenRouter, Router trong LangChain và đủ loại khung Agent đều có thể làm những việc tương tự. Nhưng đa số vẫn chỉ dừng ở lớp keo dành cho nhà phát triển: phải tự viết bài đánh giá, tự đặt ngưỡng, tự xử lý phương án dự phòng khi gặp lỗi. Điều thực sự khó nằm ở các chi tiết sản phẩm — mô hình nào có tỷ lệ thành công cao hơn với tác vụ nào, hạ cấp ra sao khi hết thời gian chờ, có nên viết lại prompt tùy theo mô hình hay không, tự động chuyển đổi thế nào khi chi phí tăng 20%, và người dùng có thể thấy “vì sao lần này dùng Claude thay vì GPT” hay không. Câu trả lời nằm trong những chi tiết ấy.

Tuần trước, tôi viết một yêu cầu về mã có kèm bảng biểu: đầu tiên dùng GPT tạo cấu trúc, rồi chuyển sang Claude trau chuốt phần mô tả, cuối cùng lại chuyển về GPT để chỉnh JSON. Tôi đổi qua đổi lại bốn, năm lần, đến mức phát bực. Khoảnh khắc đó, tôi hiểu rằng người dùng không cần thêm mô hình, mà cần một “điều phối viên” đáng tin cậy. Vì vậy, giá trị thực sự của mô hình điều phối do người Trung Quốc 24 tuổi này tạo ra không nằm ở việc phô diễn kỹ thuật, mà là biến việc “phân ca” thành trải nghiệm mặc định: người dùng chỉ cần nêu yêu cầu, hệ thống sẽ chọn mô hình, kiểm tra kết quả và thử lại khi thất bại ở phía sau. 4 triệu lượt xem là sự chú ý; sản phẩm hóa mới là quân bài giúp trụ lại trên bàn chơi. Tôi cá trong vòng một tháng, Anthropic hoặc OpenAI sẽ tự ra mắt lớp định tuyến chính thức. Dù sao thì các nhà phát triển mô hình hiểu rõ nhất chi phí, độ trễ và giới hạn năng lực của chính mình, đồng thời cũng có động lực đưa khả năng phối hợp đa mô hình vào các tính năng chính thức. Cuối tuần quay lại xem nhé.
Xem bản gốc
post-image
Trang này chứa nội dung từ bên thứ ba và không phải là lời khuyên hay sự ủng hộ của Gate đối với những quan điểm đó. Để biết thêm chi tiết, vui lòng xem tuyên bố miễn trừ trách nhiệm.

  • 1

Thêm một bình luận
Thêm một bình luận

Bình luận 1
ValueValley
Xếp ca à? Tôi cứ tưởng là để rà phá bẫy của mấy đồng coin rác trong giới crypto chứ.