Một tháng tiêu hết 1,3 triệu USD! Cha đẻ của món tôm hùm tiết lộ hóa đơn token, chi phí do OpenAI chi trả toàn bộ

Đúng vậy, bạn không nhìn nhầm đâu!

Cha đẻ của loài tôm hùm Peter Steinberger chi tiêu đến hơn 1,3 triệu USD trong vòng một tháng cho token API.

Có thể thấy, tổng lượng token tiêu thụ trong 30 ngày là 603 tỷ, số yêu cầu là 7,6 triệu,

Các cư dân mạng thốt lên, “Thuê một đội phát triển có thể còn rẻ hơn nhiều.”

Một cư dân mạng khác hỏi tiếp, “Anh em, tốt nhất anh nên thể hiện chút khả năng thật sự, làm ra những thứ mà các kỹ sư lương hàng trăm nghìn đô la mỗi năm không làm nổi, nếu không thì quảng cáo này có thể trở thành tín hiệu bong bóng của phòng thí nghiệm tiên phong đang bắt đầu vỡ ra. Hơn nữa, mức giá này còn được trợ giá nữa. Trời ơi, tính theo chi phí thực tế thì còn đắt hơn nhiều.”

Steinberger trả lời, “Tôi tắt chế độ nhanh, giá trực tiếp giảm 70%, vậy tính ra chỉ bằng chi phí của một nhân viên.”

Có người còn châm chọc thẳng thừng, “Một tháng 1,3 triệu USD? Kết quả là bạn chẳng giao được gì cả. Thật là một trong những chiến lược marketing tệ nhất trong lịch sử.”

Steinberger cũng phản bác lại, “Chẳng dám chắc đâu anh em, định nghĩa của anh về ‘chẳng giao được gì’ có vẻ cũng quá đặc biệt rồi đấy.”

Steinberger còn nói, “Tất cả mã này đều do Codex viết. Những pull request khá lộn xộn, tôi sau đó đã dọn dẹp lại, có lẽ là do Claude viết.”

Sau khi tự tiết lộ chi phí token cao ngất ngưởng và gây tranh luận sôi nổi, Steinberger nhanh chóng phản hồi, anh nói đang cố gắng trả lời một câu hỏi như thế này:

“Nếu Token không còn quan trọng nữa, trong tương lai chúng ta sẽ xây dựng phần mềm như thế nào?”

Chúng tôi vận hành khoảng 100 Codex trên đám mây lâu dài, xem xét từng PR, từng issue. Chỉ cần trên nhánh chính có một sửa lỗi nào đó được merge, @clawsweeper cuối cùng sẽ tìm ra issue cũ đã treo 6 tháng, và đóng nó bằng cách trích dẫn chính xác.

Chúng tôi chạy Codex trên mỗi lần commit, để kiểm tra các vấn đề an ninh, vì những vấn đề này quá dễ bị bỏ sót.

Chúng tôi dùng Codex để loại bỏ trùng lặp issue, phát hiện các cụm vấn đề, và gửi báo cáo về những vấn đề cấp bách nhất.

Chúng tôi có một số Agent có thể tái tạo môi trường phức tạp, khởi động máy crabbox.sh tạm thời, đăng nhập các nền tảng như Telegram, ghi lại video, rồi đăng PR so sánh trước sau sửa lỗi.

Một số Codex khác sẽ theo dõi các issue mới, nếu phù hợp với tầm nhìn sản phẩm đã định, sẽ tự động tạo PR cho chúng. Sau đó, một Codex nữa sẽ xem xét lại PR này.

Chúng tôi còn chạy Codex để quét spam trong bình luận, và cấm các người dùng liên quan.

Chúng tôi vận hành các instance Codex để kiểm tra hiệu năng, và báo cáo các vấn đề hồi quy lên Discord.

Chúng tôi có Agent theo dõi các cuộc họp của mình, chủ động bắt đầu công việc. Ví dụ, khi chúng tôi thảo luận về tính năng mới, chúng sẽ trực tiếp tạo PR trong quá trình thảo luận.

Chúng tôi xây dựng clatch.ai, phân chia tất cả dự án thành các đơn vị chức năng, dùng để kiểm tra, phát hiện lỗi và vấn đề hồi quy.

Về mặt an ninh, chúng tôi cũng làm tương tự, kết hợp Vercel deepsec và Codex Security để phát hiện các lỗ hổng và vấn đề hồi quy.

Tất cả tự động hóa này giúp chúng tôi vận hành dự án với đội ngũ cực kỳ tối giản.

Vấn đề đặt ra là, ai sẽ chịu chi phí cao như vậy? Rõ ràng không phải chính anh ta.

“OpenAI sẽ không thu phí token của tôi.”

Tokenmaxxing: Cuộc đua throughput này còn duy trì được bao lâu

Điều này trực tiếp giết chết cuộc đua.

Gần đây, cộng đồng AI xôn xao về Tokenmaxxing, các hãng lớn, bao gồm Meta và Amazon, thậm chí còn công khai bảng xếp hạng sử dụng token nội bộ của công ty, khiến việc sử dụng công cụ trí tuệ nhân tạo, tiêu thụ token trở thành KPI hàng ngày của nhân viên.

Lúc đó, Meta xếp đầu, trung bình mỗi người dùng tiêu thụ 2.810 tỷ token, theo giá của các mô hình khác nhau, có thể là chi phí hàng triệu USD. Trong khi đó, cha đẻ của loài tôm hùm Peter Steinberger trong một tháng đã tiêu thụ tới 6030 tỷ token, thật sự là một cú đòn giảm chiều cao.

Cựu nhà khoa học của Tesla và OpenAI Karpathy thừa nhận trong podcast rằng anh cũng cảm nhận được áp lực tối đa hóa sử dụng AI, “Chìa khóa là token. Bạn tiêu thụ bao nhiêu token? Bạn có thể huy động được bao nhiêu token?”

Token dần trở thành một loại nguyên liệu sản xuất mới, thậm chí là đơn vị đo mật độ vận hành của AI. Một nhóm chỉ cần có đủ lượng token tiêu thụ cao, phương pháp phân chia nhiệm vụ hoàn chỉnh, và vòng phản hồi xác thực đáng tin cậy, thì có thể đạt được mật độ kỹ thuật mà trước đây chỉ các nhóm lớn mới làm được.

Vừa rồi, Tổng giám đốc của OpenAI Greg Brockman đã đăng tweet nói rằng, “Token đang nhanh chóng trở thành đầu vào chung để giải quyết vấn đề.”

Nhưng chúng tôi tin rằng Token không phải để thắng bằng số lượng, giống như cha đẻ của loài tôm hùm xây dựng quy trình tự động hóa phát triển trí thông minh, một mô hình quản lý dự án tốt có thể là chìa khóa quyết định thắng lợi.

Nguồn: Machine Heart

Lời cảnh báo rủi ro và điều khoản miễn trừ trách nhiệm

        Thị trường có rủi ro, đầu tư cần thận trọng. Bài viết này không phải là lời khuyên đầu tư cá nhân, cũng chưa xem xét các mục tiêu, tình hình tài chính hoặc nhu cầu đặc biệt của từng người dùng. Người dùng cần cân nhắc xem các ý kiến, quan điểm hoặc kết luận trong bài có phù hợp với tình hình của mình không. Đầu tư theo đó, chịu trách nhiệm về quyết định của mình.