Cố Úc Hiền, người giành giải thưởng đặc biệt của Đại học Thanh Hoa, gia nhập DeepSeek, chủ trọng nén mô hình lớn và tối ưu hóa hiệu suất.

Theo giám sát của Động Sát Beating, tiến sĩ tốt nghiệp Khoa Khoa học Máy tính của Đại học Thanh Hoa, người đạt học bổng đặc biệt cho nghiên cứu sinh năm 2025, Cố Du Hiền, đã chính thức gia nhập DeepSeek, tên của anh ấy đã xuất hiện trong danh sách tác giả bài báo DeepSeek V4.

Nghiên cứu của Cố Du Hiền chủ yếu tập trung vào tối ưu hóa hiệu suất của mô hình lớn trong các giai đoạn tiền huấn luyện, nén mô hình và suy luận, tổng số trích dẫn trên Google Scholar đã gần 5000 lần. Các tác phẩm tiêu biểu trước đây của Cố Du Hiền bao gồm phương pháp chưng cất tri thức mô hình lớn MiniLLM (đã được Google, Alibaba, NVIDIA và các nền tảng khác sử dụng), cũng như mô hình kiến trúc hỗn hợp Jet-Nemotron. Khi xử lý ngữ cảnh siêu dài 256K trên card đồ họa H100, Jet-Nemotron đã tăng tốc thông lượng sinh lên tới 53,6 lần so với mô hình chú ý toàn phần truyền thống, và vượt qua các mô hình chuyên gia hỗn hợp có quy mô tham số lớn hơn trong nhiều bài kiểm tra chuẩn.