Thông báo "Máy chủ đang bận, vui lòng thử lại sau" mà DeepSeek thường xuyên trả lời đang làm cho người dùng ở khắp nơi trở nên điên rồ.
DeepSeek, vốn không được công chúng biết đến, đã trở nên nổi tiếng với sự ra mắt của V3, một mô hình ngôn ngữ được so sánh với GPT 4o, vào ngày 26 tháng 12 năm 2024. Vào ngày 20 tháng 1, DeepSeek đã phát hành R1, một mô hình ngôn ngữ đánh giá OpenAI o1, và sau đó công ty và ứng dụng của nó hoàn toàn nằm ngoài vòng tròn vì chất lượng cao của các câu trả lời được tạo ra bởi chế độ "Tư duy sâu" và tín hiệu tích cực rằng sự đổi mới của nó cho thấy chi phí trả trước cho việc đào tạo mô hình có thể giảm mạnh. Kể từ đó, DeepSeek R1 đã gặp phải tình trạng tắc nghẽn, với chức năng tìm kiếm trực tuyến bị tê liệt liên tục và tần suất "máy chủ bận" cao ở chế độ Deep Thinking, điều này đã làm phiền một số lượng lớn người dùng.
Cách đây vài ngày, DeepSeek bắt đầu trải qua sự cố gián đoạn máy chủ, vào trưa ngày 27 tháng 1, trang web chính thức của DeepSeek đã xuất hiện "deepseek trang web/api không khả dụng" nhiều lần, trong ngày đó, DeepSeek trở thành ứng dụng có lượt tải về cao nhất trong cuối tuần trên iPhone, vượt qua ChatGPT trên bảng xếp hạng tải về khu vực Mỹ.
Ngày 5 tháng 2, sau 26 ngày kể từ khi DeepSeek ra mắt phiên bản di động, số lượt truy cập hàng ngày đã vượt qua con số 40 triệu, số lượt truy cập hàng ngày của ChatGPT là 54,95 triệu, tương đương 74,3% so với DeepSeek. Gần như ngay sau khi DeepSeek bắt đầu đi lên theo đường cong tăng vọt, các ý kiến phàn nàn về máy chủ bận rộn liên tục xuất hiện, người dùng trên toàn thế giới bắt đầu gặp khó khăn khi bị treo máy sau mỗi vài câu hỏi, các phương tiện truy cập thay thế cũng bắt đầu xuất hiện, chẳng hạn như trang web thay thế của DeepSeek, các nhà cung cấp dịch vụ đám mây lớn, các nhà sản xuất vi xử lý và công ty cơ sở hạ tầng đều ra mắt, các hướng dẫn triển khai cá nhân cũng xuất hiện ở khắp nơi. Tuy nhiên, sự bực tức của mọi người vẫn chưa giảm đi: Hầu hết các công ty quan trọng trên toàn thế giới đều tuyên bố hỗ trợ triển khai DeepSeek, nhưng người dùng ở khắp nơi vẫn phàn nàn về dịch vụ không ổn định.
Điều gì đã xảy ra sau lưng?
1、Những người quen với ChatGPT không thể chịu đựng việc không thể mở DeepSeek
Sự không hài lòng về việc "Máy chủ DeepSeek đang bận rộn" đến từ các ứng dụng hàng đầu AI trước đó chủ yếu là ChatGPT, hiếm khi gặp tình trạng lag.
Kể từ khi dịch vụ OpenAI được ra mắt, mặc dù ChatGPT đã trải qua vài sự cố sụt sịt cấp P0 (sự cố nghiêm trọng nhất), nhưng nhìn chung, nó tương đối đáng tin cậy, đã tìm thấy sự cân bằng giữa sự đổi mới và ổn định và từ từ trở thành một phần quan trọng tương tự như các dịch vụ đám mây truyền thống.
Số lần ChatGPT gặp sự cố lớn không được coi là nhiều
Quá trình suy luận của ChatGPT tương đối ổn định, bao gồm hai bước mã hóa và giải mã, ở bước mã hóa, văn bản đầu vào được chuyển đổi thành vector, vector chứa thông tin ý nghĩa của văn bản đầu vào, ở bước giải mã, ChatGPT sử dụng văn bản đã tạo trước đó như là ngữ cảnh, thông qua mô hình Transformer để tạo ra từ tiếp theo hoặc cụm từ, cho đến khi tạo ra một câu hoàn chỉnh phù hợp với yêu cầu, mô hình lớn chính nó thuộc kiến trúc Decoder (bộ giải mã), bước giải mã chính là quá trình đầu ra của từng token (đơn vị nhỏ nhất khi mô hình lớn xử lý văn bản), mỗi lần đặt câu hỏi cho ChatGPT, quá trình suy luận sẽ được kích hoạt một lần.
Ví dụ, nếu bạn hỏi ChatGPT "Bạn cảm thấy thế nào hôm nay", ChatGPT sẽ mã hóa câu hỏi này, tạo ra biểu diễn chú ý cho mỗi tầng, dự đoán được từ đầu tiên là "我", sau đó giải mã bằng cách nối "我" vào "你今天心情如何？", sau đó là "你今天心情如何？我", tạo ra biểu diễn chú ý mới, sau đó dự đoán từ tiếp theo là "的", tiếp tục lặp lại bước một và bước hai, cuối cùng thu được "你今天心情如何？我的心情很好。"
Công cụ Kubernetes để triển khai các container là "tổng chỉ huy" đằng sau của ChatGPT, nó chịu trách nhiệm lên lịch và phân phối tài nguyên máy chủ. Khi lượng người dùng truy cập đột ngột vượt quá khả năng chịu đựng của bề mặt kiểm soát Kubernetes, điều này sẽ dẫn đến sự chệch lệch toàn diện của hệ thống ChatGPT.
Tổng số lần ChatGPT bị tê liệt không quá nhiều, nhưng điều này đằng sau là nguồn tài nguyên mạnh mẽ mà nó phụ thuộc để duy trì hoạt động ổn định, và điều này là điểm mà mọi người thường bỏ qua.
Nhìn chung, do quy mô dữ liệu xử lý suy luận thường nhỏ, nên yêu cầu về sức mạnh tính toán không cao như việc huấn luyện. Có các chuyên gia trong ngành ước lượng rằng, trong quá trình suy luận mô hình lớn bình thường, việc sử dụng bộ nhớ chủ yếu chiếm đa số trọng số của mô hình, chiếm khoảng trên 80%. Tình hình thực tế là, trong nhiều mô hình được tích hợp sẵn trong ChatGPT, kích thước mô hình mặc định đều nhỏ hơn 671B của DeepSeek-R1, cộng thêm ChatGPT có sức mạnh tính toán GPU nhiều hơn nhiều so với DeepSeek, tự nhiên cho thấy hiệu suất ổn định hơn so với DS-R1.
DeepSeek-V3 và R1 đều là mô hình 671B, quá trình khởi động mô hình chính là quá trình suy luận, năng lực tính toán trong quá trình suy luận cần phải phản ánh số lượng người dùng, ví dụ, nếu có 1 tỷ người dùng thì cần phải trang bị 1 tỷ thẻ đồ hoạ, không chỉ lớn mà còn hoàn toàn độc lập với năng lực tính toán trong quá trình huấn luyện. Từ các thông tin khác nhau, có thể thấy rõ rằng thẻ đồ hoạ và năng lực tính toán của DS rõ ràng không đủ, do đó thường xuyên bị giật.
Sự so sánh này khiến người dùng đã quen với trải nghiệm mượt mà của ChatGPT cảm thấy không quen thuộc, đặc biệt là trong bối cảnh sự quan tâm ngày càng tăng về R1 của họ.
2、Thẻ, thẻ, hoặc thẻ
Ngoài ra, nếu so sánh kỹ, tình huống mà OpenAI và DeepSeek gặp phải là rất khác nhau.
Trong đó, Microsoft là bậc thầy đứng sau, với OpenAI là nền tảng độc quyền, dịch vụ điện toán đám mây của Microsoft Azure được trang bị ChatGPT, máy tạo hình ảnh Dalle-E 2 và công cụ mã hóa tự động GitHub Copilot. Sau đó, sự kết hợp này đã trở thành mô hình cổ điển của đám mây + trí tuệ nhân tạo và nhanh chóng trở thành tiêu chuẩn ngành công nghiệp; Trong khi đó, DeepSeek, mặc dù mới thành lập, nhưng trong hầu hết các trường hợp, dựa vào việc xây dựng trung tâm dữ liệu của riêng mình, tương tự như Google, mà không phụ thuộc vào bất kỳ nhà cung cấp dịch vụ máy chủ đám mây bên thứ ba nào. SiliconStar phát hiện sau khi tham khảo thông tin công khai rằng DeepSeek không hợp tác với bất kỳ nhà cung cấp máy chủ đám mây hoặc nhà sản xuất chip nào ở bất kỳ mức độ nào (mặc dù trong thời gian Tết, các nhà cung cấp máy chủ đám mây liên tiếp tuyên bố cho phép mô hình DeepSeek chạy trên nền tảng của họ, nhưng họ không thực sự hợp tác nào cả).
Ngoài ra, DeepSeek đã trải qua một sự tăng trưởng người dùng chưa từng có, điều này có nghĩa là thời gian chuẩn bị cho tình huống kích động của nó cũng ít hơn so với ChatGPT.
Hiệu suất tốt của DeepSeek đến từ việc tối ưu hóa toàn diện ở cấp độ phần cứng và hệ thống. Công ty mẹ của DeepSeek, QuantX, đã chi khoảng 2 tỷ vào việc xây dựng cụm siêu máy tính Firefly-1 từ năm 2019, và đã lặng lẽ lưu trữ hàng ngàn card đồ họa A100 vào năm 22 để huấn luyện song song hiệu quả hơn, DeepSeek đã phát triển khung HAI LLM. Có tin đồn trong ngành rằng cụm Firefly có thể sử dụng hàng nghìn đến hàng chục nghìn card đồ họa hiệu suất cao (như NVIDIA A100/H100 hoặc chip sản xuất trong nước), để cung cấp khả năng tính toán song song mạnh mẽ. Hiện tại, cụm Firefly hỗ trợ việc huấn luyện các mô hình như DeepSeek-R1, DeepSeek-MoE, các mô hình này cho thấy hiệu suất gần như tương đương với mức độ của GPT-4 trong các nhiệm vụ phức tạp về toán học, mã code, v.v.
Cụm lửa mèo đại diện cho hành trình khám phá kiến trúc và phương pháp mới của DeepSeek, cũng làm cho thế giới bên ngoài tin rằng, thông qua công nghệ sáng tạo này, DS đã giảm chi phí đào tạo, chỉ cần một phần một trong số những mô hình tiên tiến nhất của phương Tây, R1 có thể đào tạo ra hiệu suất tương đương với mô hình AI hàng đầu. SemiAnalysis dự đoán rằng, DeepSeek thực sự có dự trữ sức mạnh khổng lồ: DeepSeek tổng cộng gồm 60.000 thẻ GPU NVIDIA, trong đó có 10.000 thẻ A100, 10.000 thẻ H100, 10.000 thẻ phiên bản đặc biệt H800 và 30.000 thẻ phiên bản đặc biệt H20.
Dường như điều này có nghĩa là lượng thẻ R1 khá đầy đủ. Nhưng thực tế, với R1 là mô hình suy luận, so sánh với O3 của OpenAI, các mô hình suy luận này cần triển khai nhiều sức mạnh tính toán hơn cho quá trình phản hồi, nhưng với việc tiết kiệm sức mạnh tính toán ở mặt chi phí huấn luyện, và việc tăng mạnh sức mạnh tính toán ở mặt chi phí suy luận, cái nào cao cái thấp, hiện tại vẫn chưa rõ.
Đáng chú ý là, cả DeepSeek-V3 và DeepSeek-R1 đều là mô hình ngôn ngữ lớn, nhưng cách hoạt động khác nhau. DeepSeek-V3 là mô hình chỉ thị, tương tự như ChatGPT, nhận từ gợi ý và tạo ra văn bản tương ứng để trả lời. Nhưng DeepSeek-R1 là mô hình suy luận, khi người dùng hỏi R1, nó sẽ trải qua một quá trình suy luận lớn trước, sau đó mới tạo ra câu trả lời cuối cùng. Trước khi tạo ra câu trả lời, các token được tạo ra bởi R1 đều bắt đầu bằng một loạt quá trình suy nghĩ lớn, mô hình sẽ giải thích vấn đề trước, phân rã vấn đề, tất cả những quá trình suy luận này đều sẽ được tạo nhanh chóng dưới dạng token.
Trong quan điểm của Phó Tổng giám đốc của Youtoo Capital, ông Wen Tingcan, nguồn lực tính toán lớn của DeepSeek đã được đề cập là trong giai đoạn huấn luyện, đội ngũ tính toán huấn luyện có thể được lập kế hoạch, có thể được dự đoán, không dễ gặp phải tình trạng thiếu nguồn lực tính toán, nhưng nguồn lực tính toán suy luận lại có độ không chắc chắn lớn hơn, vì chủ yếu phụ thuộc vào quy mô và lượng sử dụng của người dùng, tương đối linh hoạt, "Nguồn lực tính toán suy luận sẽ tăng theo một quy luật nhất định, nhưng với việc DeepSeek trở thành sản phẩm hiện tượng, trong thời gian ngắn, quy mô và lượng sử dụng của người dùng tăng mạnh, điều này dẫn đến nhu cầu nguồn lực tính toán trong giai đoạn suy luận tăng mạnh, vì vậy gây ra hiện tượng trì hoãn.
Ngay lập tức, các nhà thiết kế sản phẩm mô hình hoạt động, nhà phát triển độc lập Guīcáng đồng ý rằng lượng thẻ DeepSeek đang tăng là nguyên nhân chính gây giựt giựt, anh ta cho rằng DS, ứng dụng di động có lượt tải về cao nhất tại 140 thị trường trên toàn thế giới hiện tại, không thể chịu đựng bất cứ lý do nào của thẻ, ngay cả khi sử dụng thẻ mới cũng không được, bởi vì “việc tạo ra thẻ mới trên đám mây cần thời gian”.
“Chi phí hoạt động của chip như NVIDIA A100, H100 trong một giờ có giá cả công bằng trên thị trường, dựa vào chi phí suy luận của việc tạo ra token, DeepSeek rẻ hơn hơn 90% so với mô hình tương tự o1 của OpenAI, điều này không chênh lệch nhiều so với số liệu của mọi người, vì vậy kiến trúc mô hình MOE không phải là vấn đề chính, nhưng số lượng GPU mà DS sở hữu xác định số lượng token tối đa mà họ có thể sản xuất và cung cấp mỗi phút, thậm chí nếu họ có thể sử dụng nhiều GPU hơn để phục vụ người dùng suy luận, không sử dụng cho nghiên cứu huấn luyện trước, nhưng giới hạn vẫn còn tồn tại.” Nhà phát triển ứng dụng AI nguyên sinh đèn fill light Kitty, Chen Yunfei, có quan điểm tương tự.
Cũng có người trong ngành đã nhắc nhở Silicon Star rằng, vấn đề cốt lõi của DeepSeek chính là điều không tốt của điện toán đám mây riêng.
Cuộc tấn công của hacker là một yếu tố đẩy nhanh R1. Vào ngày 30 tháng 1, truyền thông đã được biết từ công ty an ninh mạng Qi An Xin rằng cường độ tấn công vào dịch vụ trực tuyến DeepSeek đột ngột tăng lên, với lệnh tấn công tăng đột ngột lên hàng trăm lần so với ngày 28 tháng 1. Phòng thí nghiệm Xlab của Qi An Xin đã quan sát thấy ít nhất có 2 mạng zombie tham gia vào cuộc tấn công.
Nhưng sự trễ trễ của dịch vụ R1 này có một giải pháp dường như rõ ràng hơn, đó là các bên thứ ba cung cấp dịch vụ. Điều này cũng là cảnh tượng sôi động nhất mà chúng tôi đã chứng kiến vào dịp Tết - các nhà sản xuất đã triển khai dịch vụ, đáp ứng nhu cầu của mọi người đối với DeepSeek.
Vào ngày 31 tháng 1, NVIDIA đã công bố rằng NVIDIA NIM đã có thể sử dụng DeepSeek-R1, trước đó NVIDIA đã bị ảnh hưởng bởi DeepSeek, giá trị thị trường giảm gần 6000 tỷ USD trong một đêm. Cùng ngày, người dùng của AWS, đám mây của Amazon, có thể triển khai mô hình cơ bản mới nhất R1 của DeepSeek trên nền tảng trí tuệ nhân tạo của họ, Amazon Bedrock và Amazon SageMaker AI. Sau đó, các ứng dụng trí tuệ nhân tạo mới như Perplexity, Cursor cũng đã được triển khai hàng loạt trên DeepSeek. Microsoft đã chiếm ưu thế trước Amazon và NVIDIA bằng cách triển khai DeepSeek-R1 trên dịch vụ đám mây Azure và Github.
Bắt đầu từ ngày 4 tháng 1, tức ngày mùng 4 Tết Nguyên Đán, Huawei Cloud, Alibaba Cloud, đội ngũ của Fire Engine thuộc ByteDance và Tencent Cloud cũng tham gia vào cuộc chơi này, chúng thường cung cấp dịch vụ triển khai mô hình toàn bộ và đầy đủ của DeepSeek. Tiếp theo là các nhà sản xuất chip AI như Bitmain, Hanbo Semiconductor, Ascend, Muxi và những người khác, họ tự xưng đã tương thích với phiên bản gốc của DeepSeek hoặc phiên bản nén kích thước nhỏ hơn. Đối với các công ty phần mềm, các sản phẩm như UFIDA và Kingdee đã tích hợp mô hình DeepSeek vào một số sản phẩm để tăng cường sức mạnh sản phẩm, cuối cùng là các nhà sản xuất thiết bị cuối như Lenovo, Huawei và một số sản phẩm dưới thương hiệu Honor đã tích hợp mô hình DeepSeek để sử dụng cho trợ lý cá nhân và khoang lái thông minh xe hơi.
Cho đến nay, DeepSeek đã thu hút một cộng đồng bạn bè toàn diện dựa trên giá trị của chính mình, bao gồm các nhà cung cấp đám mây trong và ngoài nước, các nhà cung cấp dịch vụ viễn thông, các nhà môi giới và các nền tảng siêu máy tính quốc gia. Do DeepSeek-R1 là mô hình hoàn toàn mã nguồn mở, các nhà cung cấp dịch vụ tham gia đều trở thành người hưởng lợi từ mô hình DS. Một mặt, điều này đã tăng đáng kể âm lượng của DS, nhưng cũng gây ra hiện tượng giựt giùm tăng cường, nhà cung cấp dịch vụ và chính DS đang ngày càng gặp khó khăn với lượng người dùng đổ xô đến, thậm chí không tìm thấy chìa khóa quan trọng để giải quyết vấn đề sử dụng ổn định.
Xem xét rằng các phiên bản gốc của các mô hình DeepSeek V3 và R1 cao tới 671 tỷ tham số, phù hợp để chạy trên đám mây và bản thân các nhà cung cấp đám mây có đủ sức mạnh tính toán và khả năng suy luận hơn, họ đã tung ra các dịch vụ triển khai liên quan đến DeepSeek để hạ thấp ngưỡng cho các doanh nghiệp sử dụng.
Tuy nhiên, trong thực tế, vấn đề trải nghiệm khi chạy mô hình DeepSeek-R1 chưa được giải quyết trong các dịch vụ của các công ty, bên ngoài cho rằng các nhà cung cấp dịch vụ không thiếu thẻ, nhưng thực tế là số lượng thẻ mà họ triển khai R1, phản hồi thất thường của các nhà phát triển, tần suất hoàn toàn tương đương với R1, điều này phần lớn là vì số lượng thẻ mà R1 được phân bổ để thực hiện suy luận không nhiều lắm.
“R1 duy trì độ nóng ở mức cao, các nhà cung cấp dịch vụ cần phải cân nhắc các mô hình khác mà họ kết nối, số lượng thẻ mà họ có thể cung cấp cho R1 rất hạn chế, với sự nóng của R1, mỗi khi một ai đó tham gia R1, và cung cấp với giá tương đối thấp, họ sẽ bị đánh bại.” Nhà thiết kế mô hình, nhà phát triển độc lập Guīcáng đã giải thích nguyên nhân cho người ngoài hành tinh silic.
Tối ưu triển khai mô hình là một lĩnh vực rộng lớn bao gồm nhiều khía cạnh, từ việc huấn luyện đến triển khai phần cứng thực tế, liên quan đến nhiều mặt công việc, nhưng đối với sự cố giật của DeepSeek, nguyên nhân có thể đơn giản hơn, chẳng hạn như mô hình quá lớn và chuẩn bị tối ưu hóa trước khi triển khai.
Trước khi một mô hình lớn phổ biến được triển khai, sẽ đối mặt với nhiều thách thức liên quan đến công nghệ, kỹ thuật, kinh doanh và nhiều khía cạnh khác, chẳng hạn như sự nhất quán giữa dữ liệu huấn luyện và dữ liệu môi trường sản xuất, tác động của độ trễ dữ liệu và tính thời gian thực đến hiệu suất suy luận của mô hình, hiệu quả suy luận trực tuyến và chiếm quá nhiều tài nguyên, khả năng tổng quát hóa của mô hình không đủ, cũng như các khía cạnh kỹ thuật như ổn định dịch vụ, tích hợp API và hệ thống.
Trước khi nhiều mô hình lớn đang hot được triển khai, họ đều rất chú trọng vào việc tối ưu hóa suy luận, điều này là bởi vì vấn đề thời gian tính toán và bộ nhớ, vấn đề thứ nhất là thời gian suy luận quá lâu, gây ra trải nghiệm người dùng kém, thậm chí không thể đáp ứng yêu cầu trễ, ví dụ như hiện tượng giật lag, vấn đề thứ hai là số lượng tham số mô hình lớn, tiêu tốn bộ nhớ đồ họa, thậm chí thẻ GPU đơn không đủ chỗ, cũng có thể gây ra hiện tượng giật lag.
Vinh Tinh Can explained to the Silicon people the reason. He said that the challenge encountered by the service provider in providing the R1 service was essentially due to the special structure of the DS model, the model being too large, and the MOE (expert hybrid structure, an efficient way of computing) architecture. "Optimization (service provider) takes time, but market demand has a time window, so it's all about going live first and then optimizing, rather than going online after full optimization."
Để R1 hoạt động ổn định, hiện nay điều quan trọng là khả năng tích lũy và tối ưu hóa phần xử lý suy luận. DeepSeek cần tìm cách giảm chi phí của việc suy luận, giảm lượng token đầu ra của thẻ, và giảm số lượng token đầu ra mỗi lần.
Đồng thời, sự trì trệ cũng cho thấy rằng sức mạnh tính toán của DS có thể không lớn như SemiAnalysis mô tả, công ty quỹ Magic Square cũng cần sử dụng thẻ, nhóm đào tạo DeepSeek cũng cần sử dụng thẻ, và số lượng thẻ có thể cung cấp cho người dùng luôn không nhiều. Theo tình hình phát triển hiện tại, DeepSeek có thể không có động lực chi tiền thuê dịch vụ trong tương lai gần, và sau đó cung cấp trải nghiệm tốt hơn cho người dùng miễn phí, họ có thể chờ đợi cho đến khi mô hình kinh doanh đầu tiên của C端 được làm rõ, sau đó xem xét vấn đề thuê dịch vụ, điều này cũng có nghĩa là tình trạng trì trệ sẽ kéo dài trong một khoảng thời gian không ngắn.
“Họ có thể cần hai bước cụ thể: 1) thiết lập cơ chế thanh toán, giới hạn lượng sử dụng mô hình người dùng miễn phí; 2) hợp tác với nhà cung cấp dịch vụ đám mây, sử dụng tài nguyên GPU của người khác.” Giải pháp tạm thời mà nhà phát triển Chen Yunfei đưa ra đã nhận được sự đồng thuận rộng rãi trong ngành.
Tuy nhiên, cho đến nay, DeepSeek không hề cảm thấy cần phải vội vàng với vấn đề 'máy chủ bận rộn' của mình. Là một công ty theo đuổi AGI, DeepSeek dường như không muốn tập trung quá nhiều vào lưu lượng người dùng đông đảo đang đổ vào. Có lẽ người dùng sẽ phải quen dần với giao diện 'máy chủ bận rộn' trong thời gian tới.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Sự 'Bận server' của DeepSeek khiến mọi người điên đảo, đằng sau cái này là gì?
Nguồn ảnh: Tạo bởi SIÊU TRÍ TUỆ
Thông báo "Máy chủ đang bận, vui lòng thử lại sau" mà DeepSeek thường xuyên trả lời đang làm cho người dùng ở khắp nơi trở nên điên rồ.
DeepSeek, vốn không được công chúng biết đến, đã trở nên nổi tiếng với sự ra mắt của V3, một mô hình ngôn ngữ được so sánh với GPT 4o, vào ngày 26 tháng 12 năm 2024. Vào ngày 20 tháng 1, DeepSeek đã phát hành R1, một mô hình ngôn ngữ đánh giá OpenAI o1, và sau đó công ty và ứng dụng của nó hoàn toàn nằm ngoài vòng tròn vì chất lượng cao của các câu trả lời được tạo ra bởi chế độ "Tư duy sâu" và tín hiệu tích cực rằng sự đổi mới của nó cho thấy chi phí trả trước cho việc đào tạo mô hình có thể giảm mạnh. Kể từ đó, DeepSeek R1 đã gặp phải tình trạng tắc nghẽn, với chức năng tìm kiếm trực tuyến bị tê liệt liên tục và tần suất "máy chủ bận" cao ở chế độ Deep Thinking, điều này đã làm phiền một số lượng lớn người dùng.
Cách đây vài ngày, DeepSeek bắt đầu trải qua sự cố gián đoạn máy chủ, vào trưa ngày 27 tháng 1, trang web chính thức của DeepSeek đã xuất hiện "deepseek trang web/api không khả dụng" nhiều lần, trong ngày đó, DeepSeek trở thành ứng dụng có lượt tải về cao nhất trong cuối tuần trên iPhone, vượt qua ChatGPT trên bảng xếp hạng tải về khu vực Mỹ.
Ngày 5 tháng 2, sau 26 ngày kể từ khi DeepSeek ra mắt phiên bản di động, số lượt truy cập hàng ngày đã vượt qua con số 40 triệu, số lượt truy cập hàng ngày của ChatGPT là 54,95 triệu, tương đương 74,3% so với DeepSeek. Gần như ngay sau khi DeepSeek bắt đầu đi lên theo đường cong tăng vọt, các ý kiến phàn nàn về máy chủ bận rộn liên tục xuất hiện, người dùng trên toàn thế giới bắt đầu gặp khó khăn khi bị treo máy sau mỗi vài câu hỏi, các phương tiện truy cập thay thế cũng bắt đầu xuất hiện, chẳng hạn như trang web thay thế của DeepSeek, các nhà cung cấp dịch vụ đám mây lớn, các nhà sản xuất vi xử lý và công ty cơ sở hạ tầng đều ra mắt, các hướng dẫn triển khai cá nhân cũng xuất hiện ở khắp nơi. Tuy nhiên, sự bực tức của mọi người vẫn chưa giảm đi: Hầu hết các công ty quan trọng trên toàn thế giới đều tuyên bố hỗ trợ triển khai DeepSeek, nhưng người dùng ở khắp nơi vẫn phàn nàn về dịch vụ không ổn định.
Điều gì đã xảy ra sau lưng?
1、Những người quen với ChatGPT không thể chịu đựng việc không thể mở DeepSeek
Sự không hài lòng về việc "Máy chủ DeepSeek đang bận rộn" đến từ các ứng dụng hàng đầu AI trước đó chủ yếu là ChatGPT, hiếm khi gặp tình trạng lag.
Kể từ khi dịch vụ OpenAI được ra mắt, mặc dù ChatGPT đã trải qua vài sự cố sụt sịt cấp P0 (sự cố nghiêm trọng nhất), nhưng nhìn chung, nó tương đối đáng tin cậy, đã tìm thấy sự cân bằng giữa sự đổi mới và ổn định và từ từ trở thành một phần quan trọng tương tự như các dịch vụ đám mây truyền thống.
Số lần ChatGPT gặp sự cố lớn không được coi là nhiều
Quá trình suy luận của ChatGPT tương đối ổn định, bao gồm hai bước mã hóa và giải mã, ở bước mã hóa, văn bản đầu vào được chuyển đổi thành vector, vector chứa thông tin ý nghĩa của văn bản đầu vào, ở bước giải mã, ChatGPT sử dụng văn bản đã tạo trước đó như là ngữ cảnh, thông qua mô hình Transformer để tạo ra từ tiếp theo hoặc cụm từ, cho đến khi tạo ra một câu hoàn chỉnh phù hợp với yêu cầu, mô hình lớn chính nó thuộc kiến trúc Decoder (bộ giải mã), bước giải mã chính là quá trình đầu ra của từng token (đơn vị nhỏ nhất khi mô hình lớn xử lý văn bản), mỗi lần đặt câu hỏi cho ChatGPT, quá trình suy luận sẽ được kích hoạt một lần.
Ví dụ, nếu bạn hỏi ChatGPT "Bạn cảm thấy thế nào hôm nay", ChatGPT sẽ mã hóa câu hỏi này, tạo ra biểu diễn chú ý cho mỗi tầng, dự đoán được từ đầu tiên là "我", sau đó giải mã bằng cách nối "我" vào "你今天心情如何？", sau đó là "你今天心情如何？我", tạo ra biểu diễn chú ý mới, sau đó dự đoán từ tiếp theo là "的", tiếp tục lặp lại bước một và bước hai, cuối cùng thu được "你今天心情如何？我的心情很好。"
Công cụ Kubernetes để triển khai các container là "tổng chỉ huy" đằng sau của ChatGPT, nó chịu trách nhiệm lên lịch và phân phối tài nguyên máy chủ. Khi lượng người dùng truy cập đột ngột vượt quá khả năng chịu đựng của bề mặt kiểm soát Kubernetes, điều này sẽ dẫn đến sự chệch lệch toàn diện của hệ thống ChatGPT.
Tổng số lần ChatGPT bị tê liệt không quá nhiều, nhưng điều này đằng sau là nguồn tài nguyên mạnh mẽ mà nó phụ thuộc để duy trì hoạt động ổn định, và điều này là điểm mà mọi người thường bỏ qua.
Nhìn chung, do quy mô dữ liệu xử lý suy luận thường nhỏ, nên yêu cầu về sức mạnh tính toán không cao như việc huấn luyện. Có các chuyên gia trong ngành ước lượng rằng, trong quá trình suy luận mô hình lớn bình thường, việc sử dụng bộ nhớ chủ yếu chiếm đa số trọng số của mô hình, chiếm khoảng trên 80%. Tình hình thực tế là, trong nhiều mô hình được tích hợp sẵn trong ChatGPT, kích thước mô hình mặc định đều nhỏ hơn 671B của DeepSeek-R1, cộng thêm ChatGPT có sức mạnh tính toán GPU nhiều hơn nhiều so với DeepSeek, tự nhiên cho thấy hiệu suất ổn định hơn so với DS-R1.
DeepSeek-V3 và R1 đều là mô hình 671B, quá trình khởi động mô hình chính là quá trình suy luận, năng lực tính toán trong quá trình suy luận cần phải phản ánh số lượng người dùng, ví dụ, nếu có 1 tỷ người dùng thì cần phải trang bị 1 tỷ thẻ đồ hoạ, không chỉ lớn mà còn hoàn toàn độc lập với năng lực tính toán trong quá trình huấn luyện. Từ các thông tin khác nhau, có thể thấy rõ rằng thẻ đồ hoạ và năng lực tính toán của DS rõ ràng không đủ, do đó thường xuyên bị giật.
Sự so sánh này khiến người dùng đã quen với trải nghiệm mượt mà của ChatGPT cảm thấy không quen thuộc, đặc biệt là trong bối cảnh sự quan tâm ngày càng tăng về R1 của họ.
2、Thẻ, thẻ, hoặc thẻ
Ngoài ra, nếu so sánh kỹ, tình huống mà OpenAI và DeepSeek gặp phải là rất khác nhau.
Trong đó, Microsoft là bậc thầy đứng sau, với OpenAI là nền tảng độc quyền, dịch vụ điện toán đám mây của Microsoft Azure được trang bị ChatGPT, máy tạo hình ảnh Dalle-E 2 và công cụ mã hóa tự động GitHub Copilot. Sau đó, sự kết hợp này đã trở thành mô hình cổ điển của đám mây + trí tuệ nhân tạo và nhanh chóng trở thành tiêu chuẩn ngành công nghiệp; Trong khi đó, DeepSeek, mặc dù mới thành lập, nhưng trong hầu hết các trường hợp, dựa vào việc xây dựng trung tâm dữ liệu của riêng mình, tương tự như Google, mà không phụ thuộc vào bất kỳ nhà cung cấp dịch vụ máy chủ đám mây bên thứ ba nào. SiliconStar phát hiện sau khi tham khảo thông tin công khai rằng DeepSeek không hợp tác với bất kỳ nhà cung cấp máy chủ đám mây hoặc nhà sản xuất chip nào ở bất kỳ mức độ nào (mặc dù trong thời gian Tết, các nhà cung cấp máy chủ đám mây liên tiếp tuyên bố cho phép mô hình DeepSeek chạy trên nền tảng của họ, nhưng họ không thực sự hợp tác nào cả).
Ngoài ra, DeepSeek đã trải qua một sự tăng trưởng người dùng chưa từng có, điều này có nghĩa là thời gian chuẩn bị cho tình huống kích động của nó cũng ít hơn so với ChatGPT.
Hiệu suất tốt của DeepSeek đến từ việc tối ưu hóa toàn diện ở cấp độ phần cứng và hệ thống. Công ty mẹ của DeepSeek, QuantX, đã chi khoảng 2 tỷ vào việc xây dựng cụm siêu máy tính Firefly-1 từ năm 2019, và đã lặng lẽ lưu trữ hàng ngàn card đồ họa A100 vào năm 22 để huấn luyện song song hiệu quả hơn, DeepSeek đã phát triển khung HAI LLM. Có tin đồn trong ngành rằng cụm Firefly có thể sử dụng hàng nghìn đến hàng chục nghìn card đồ họa hiệu suất cao (như NVIDIA A100/H100 hoặc chip sản xuất trong nước), để cung cấp khả năng tính toán song song mạnh mẽ. Hiện tại, cụm Firefly hỗ trợ việc huấn luyện các mô hình như DeepSeek-R1, DeepSeek-MoE, các mô hình này cho thấy hiệu suất gần như tương đương với mức độ của GPT-4 trong các nhiệm vụ phức tạp về toán học, mã code, v.v.
Cụm lửa mèo đại diện cho hành trình khám phá kiến trúc và phương pháp mới của DeepSeek, cũng làm cho thế giới bên ngoài tin rằng, thông qua công nghệ sáng tạo này, DS đã giảm chi phí đào tạo, chỉ cần một phần một trong số những mô hình tiên tiến nhất của phương Tây, R1 có thể đào tạo ra hiệu suất tương đương với mô hình AI hàng đầu. SemiAnalysis dự đoán rằng, DeepSeek thực sự có dự trữ sức mạnh khổng lồ: DeepSeek tổng cộng gồm 60.000 thẻ GPU NVIDIA, trong đó có 10.000 thẻ A100, 10.000 thẻ H100, 10.000 thẻ phiên bản đặc biệt H800 và 30.000 thẻ phiên bản đặc biệt H20.
Dường như điều này có nghĩa là lượng thẻ R1 khá đầy đủ. Nhưng thực tế, với R1 là mô hình suy luận, so sánh với O3 của OpenAI, các mô hình suy luận này cần triển khai nhiều sức mạnh tính toán hơn cho quá trình phản hồi, nhưng với việc tiết kiệm sức mạnh tính toán ở mặt chi phí huấn luyện, và việc tăng mạnh sức mạnh tính toán ở mặt chi phí suy luận, cái nào cao cái thấp, hiện tại vẫn chưa rõ.
Đáng chú ý là, cả DeepSeek-V3 và DeepSeek-R1 đều là mô hình ngôn ngữ lớn, nhưng cách hoạt động khác nhau. DeepSeek-V3 là mô hình chỉ thị, tương tự như ChatGPT, nhận từ gợi ý và tạo ra văn bản tương ứng để trả lời. Nhưng DeepSeek-R1 là mô hình suy luận, khi người dùng hỏi R1, nó sẽ trải qua một quá trình suy luận lớn trước, sau đó mới tạo ra câu trả lời cuối cùng. Trước khi tạo ra câu trả lời, các token được tạo ra bởi R1 đều bắt đầu bằng một loạt quá trình suy nghĩ lớn, mô hình sẽ giải thích vấn đề trước, phân rã vấn đề, tất cả những quá trình suy luận này đều sẽ được tạo nhanh chóng dưới dạng token.
Trong quan điểm của Phó Tổng giám đốc của Youtoo Capital, ông Wen Tingcan, nguồn lực tính toán lớn của DeepSeek đã được đề cập là trong giai đoạn huấn luyện, đội ngũ tính toán huấn luyện có thể được lập kế hoạch, có thể được dự đoán, không dễ gặp phải tình trạng thiếu nguồn lực tính toán, nhưng nguồn lực tính toán suy luận lại có độ không chắc chắn lớn hơn, vì chủ yếu phụ thuộc vào quy mô và lượng sử dụng của người dùng, tương đối linh hoạt, "Nguồn lực tính toán suy luận sẽ tăng theo một quy luật nhất định, nhưng với việc DeepSeek trở thành sản phẩm hiện tượng, trong thời gian ngắn, quy mô và lượng sử dụng của người dùng tăng mạnh, điều này dẫn đến nhu cầu nguồn lực tính toán trong giai đoạn suy luận tăng mạnh, vì vậy gây ra hiện tượng trì hoãn.
Ngay lập tức, các nhà thiết kế sản phẩm mô hình hoạt động, nhà phát triển độc lập Guīcáng đồng ý rằng lượng thẻ DeepSeek đang tăng là nguyên nhân chính gây giựt giựt, anh ta cho rằng DS, ứng dụng di động có lượt tải về cao nhất tại 140 thị trường trên toàn thế giới hiện tại, không thể chịu đựng bất cứ lý do nào của thẻ, ngay cả khi sử dụng thẻ mới cũng không được, bởi vì “việc tạo ra thẻ mới trên đám mây cần thời gian”.
“Chi phí hoạt động của chip như NVIDIA A100, H100 trong một giờ có giá cả công bằng trên thị trường, dựa vào chi phí suy luận của việc tạo ra token, DeepSeek rẻ hơn hơn 90% so với mô hình tương tự o1 của OpenAI, điều này không chênh lệch nhiều so với số liệu của mọi người, vì vậy kiến trúc mô hình MOE không phải là vấn đề chính, nhưng số lượng GPU mà DS sở hữu xác định số lượng token tối đa mà họ có thể sản xuất và cung cấp mỗi phút, thậm chí nếu họ có thể sử dụng nhiều GPU hơn để phục vụ người dùng suy luận, không sử dụng cho nghiên cứu huấn luyện trước, nhưng giới hạn vẫn còn tồn tại.” Nhà phát triển ứng dụng AI nguyên sinh đèn fill light Kitty, Chen Yunfei, có quan điểm tương tự.
Cũng có người trong ngành đã nhắc nhở Silicon Star rằng, vấn đề cốt lõi của DeepSeek chính là điều không tốt của điện toán đám mây riêng.
Cuộc tấn công của hacker là một yếu tố đẩy nhanh R1. Vào ngày 30 tháng 1, truyền thông đã được biết từ công ty an ninh mạng Qi An Xin rằng cường độ tấn công vào dịch vụ trực tuyến DeepSeek đột ngột tăng lên, với lệnh tấn công tăng đột ngột lên hàng trăm lần so với ngày 28 tháng 1. Phòng thí nghiệm Xlab của Qi An Xin đã quan sát thấy ít nhất có 2 mạng zombie tham gia vào cuộc tấn công.
Nhưng sự trễ trễ của dịch vụ R1 này có một giải pháp dường như rõ ràng hơn, đó là các bên thứ ba cung cấp dịch vụ. Điều này cũng là cảnh tượng sôi động nhất mà chúng tôi đã chứng kiến vào dịp Tết - các nhà sản xuất đã triển khai dịch vụ, đáp ứng nhu cầu của mọi người đối với DeepSeek.
Vào ngày 31 tháng 1, NVIDIA đã công bố rằng NVIDIA NIM đã có thể sử dụng DeepSeek-R1, trước đó NVIDIA đã bị ảnh hưởng bởi DeepSeek, giá trị thị trường giảm gần 6000 tỷ USD trong một đêm. Cùng ngày, người dùng của AWS, đám mây của Amazon, có thể triển khai mô hình cơ bản mới nhất R1 của DeepSeek trên nền tảng trí tuệ nhân tạo của họ, Amazon Bedrock và Amazon SageMaker AI. Sau đó, các ứng dụng trí tuệ nhân tạo mới như Perplexity, Cursor cũng đã được triển khai hàng loạt trên DeepSeek. Microsoft đã chiếm ưu thế trước Amazon và NVIDIA bằng cách triển khai DeepSeek-R1 trên dịch vụ đám mây Azure và Github.
Bắt đầu từ ngày 4 tháng 1, tức ngày mùng 4 Tết Nguyên Đán, Huawei Cloud, Alibaba Cloud, đội ngũ của Fire Engine thuộc ByteDance và Tencent Cloud cũng tham gia vào cuộc chơi này, chúng thường cung cấp dịch vụ triển khai mô hình toàn bộ và đầy đủ của DeepSeek. Tiếp theo là các nhà sản xuất chip AI như Bitmain, Hanbo Semiconductor, Ascend, Muxi và những người khác, họ tự xưng đã tương thích với phiên bản gốc của DeepSeek hoặc phiên bản nén kích thước nhỏ hơn. Đối với các công ty phần mềm, các sản phẩm như UFIDA và Kingdee đã tích hợp mô hình DeepSeek vào một số sản phẩm để tăng cường sức mạnh sản phẩm, cuối cùng là các nhà sản xuất thiết bị cuối như Lenovo, Huawei và một số sản phẩm dưới thương hiệu Honor đã tích hợp mô hình DeepSeek để sử dụng cho trợ lý cá nhân và khoang lái thông minh xe hơi.
Cho đến nay, DeepSeek đã thu hút một cộng đồng bạn bè toàn diện dựa trên giá trị của chính mình, bao gồm các nhà cung cấp đám mây trong và ngoài nước, các nhà cung cấp dịch vụ viễn thông, các nhà môi giới và các nền tảng siêu máy tính quốc gia. Do DeepSeek-R1 là mô hình hoàn toàn mã nguồn mở, các nhà cung cấp dịch vụ tham gia đều trở thành người hưởng lợi từ mô hình DS. Một mặt, điều này đã tăng đáng kể âm lượng của DS, nhưng cũng gây ra hiện tượng giựt giùm tăng cường, nhà cung cấp dịch vụ và chính DS đang ngày càng gặp khó khăn với lượng người dùng đổ xô đến, thậm chí không tìm thấy chìa khóa quan trọng để giải quyết vấn đề sử dụng ổn định.
Xem xét rằng các phiên bản gốc của các mô hình DeepSeek V3 và R1 cao tới 671 tỷ tham số, phù hợp để chạy trên đám mây và bản thân các nhà cung cấp đám mây có đủ sức mạnh tính toán và khả năng suy luận hơn, họ đã tung ra các dịch vụ triển khai liên quan đến DeepSeek để hạ thấp ngưỡng cho các doanh nghiệp sử dụng.
Tuy nhiên, trong thực tế, vấn đề trải nghiệm khi chạy mô hình DeepSeek-R1 chưa được giải quyết trong các dịch vụ của các công ty, bên ngoài cho rằng các nhà cung cấp dịch vụ không thiếu thẻ, nhưng thực tế là số lượng thẻ mà họ triển khai R1, phản hồi thất thường của các nhà phát triển, tần suất hoàn toàn tương đương với R1, điều này phần lớn là vì số lượng thẻ mà R1 được phân bổ để thực hiện suy luận không nhiều lắm.
“R1 duy trì độ nóng ở mức cao, các nhà cung cấp dịch vụ cần phải cân nhắc các mô hình khác mà họ kết nối, số lượng thẻ mà họ có thể cung cấp cho R1 rất hạn chế, với sự nóng của R1, mỗi khi một ai đó tham gia R1, và cung cấp với giá tương đối thấp, họ sẽ bị đánh bại.” Nhà thiết kế mô hình, nhà phát triển độc lập Guīcáng đã giải thích nguyên nhân cho người ngoài hành tinh silic.
Tối ưu triển khai mô hình là một lĩnh vực rộng lớn bao gồm nhiều khía cạnh, từ việc huấn luyện đến triển khai phần cứng thực tế, liên quan đến nhiều mặt công việc, nhưng đối với sự cố giật của DeepSeek, nguyên nhân có thể đơn giản hơn, chẳng hạn như mô hình quá lớn và chuẩn bị tối ưu hóa trước khi triển khai.
Trước khi một mô hình lớn phổ biến được triển khai, sẽ đối mặt với nhiều thách thức liên quan đến công nghệ, kỹ thuật, kinh doanh và nhiều khía cạnh khác, chẳng hạn như sự nhất quán giữa dữ liệu huấn luyện và dữ liệu môi trường sản xuất, tác động của độ trễ dữ liệu và tính thời gian thực đến hiệu suất suy luận của mô hình, hiệu quả suy luận trực tuyến và chiếm quá nhiều tài nguyên, khả năng tổng quát hóa của mô hình không đủ, cũng như các khía cạnh kỹ thuật như ổn định dịch vụ, tích hợp API và hệ thống.
Trước khi nhiều mô hình lớn đang hot được triển khai, họ đều rất chú trọng vào việc tối ưu hóa suy luận, điều này là bởi vì vấn đề thời gian tính toán và bộ nhớ, vấn đề thứ nhất là thời gian suy luận quá lâu, gây ra trải nghiệm người dùng kém, thậm chí không thể đáp ứng yêu cầu trễ, ví dụ như hiện tượng giật lag, vấn đề thứ hai là số lượng tham số mô hình lớn, tiêu tốn bộ nhớ đồ họa, thậm chí thẻ GPU đơn không đủ chỗ, cũng có thể gây ra hiện tượng giật lag.
Vinh Tinh Can explained to the Silicon people the reason. He said that the challenge encountered by the service provider in providing the R1 service was essentially due to the special structure of the DS model, the model being too large, and the MOE (expert hybrid structure, an efficient way of computing) architecture. "Optimization (service provider) takes time, but market demand has a time window, so it's all about going live first and then optimizing, rather than going online after full optimization."
Để R1 hoạt động ổn định, hiện nay điều quan trọng là khả năng tích lũy và tối ưu hóa phần xử lý suy luận. DeepSeek cần tìm cách giảm chi phí của việc suy luận, giảm lượng token đầu ra của thẻ, và giảm số lượng token đầu ra mỗi lần.
Đồng thời, sự trì trệ cũng cho thấy rằng sức mạnh tính toán của DS có thể không lớn như SemiAnalysis mô tả, công ty quỹ Magic Square cũng cần sử dụng thẻ, nhóm đào tạo DeepSeek cũng cần sử dụng thẻ, và số lượng thẻ có thể cung cấp cho người dùng luôn không nhiều. Theo tình hình phát triển hiện tại, DeepSeek có thể không có động lực chi tiền thuê dịch vụ trong tương lai gần, và sau đó cung cấp trải nghiệm tốt hơn cho người dùng miễn phí, họ có thể chờ đợi cho đến khi mô hình kinh doanh đầu tiên của C端 được làm rõ, sau đó xem xét vấn đề thuê dịch vụ, điều này cũng có nghĩa là tình trạng trì trệ sẽ kéo dài trong một khoảng thời gian không ngắn.
“Họ có thể cần hai bước cụ thể: 1) thiết lập cơ chế thanh toán, giới hạn lượng sử dụng mô hình người dùng miễn phí; 2) hợp tác với nhà cung cấp dịch vụ đám mây, sử dụng tài nguyên GPU của người khác.” Giải pháp tạm thời mà nhà phát triển Chen Yunfei đưa ra đã nhận được sự đồng thuận rộng rãi trong ngành.
Tuy nhiên, cho đến nay, DeepSeek không hề cảm thấy cần phải vội vàng với vấn đề 'máy chủ bận rộn' của mình. Là một công ty theo đuổi AGI, DeepSeek dường như không muốn tập trung quá nhiều vào lưu lượng người dùng đông đảo đang đổ vào. Có lẽ người dùng sẽ phải quen dần với giao diện 'máy chủ bận rộn' trong thời gian tới.