Sau khi ChatGPT được nâng cấp, nói chuyện với nó gần như không còn độ trễ. Mô hình giọng nói thời gian thực mới nhất có độ trễ khoảng 200-300ms, khoảng thời gian phản ứng tự nhiên của con người trong hội thoại cũng là 200-300ms. Là như nhau.

Nhưng cái giá của độ trễ bằng 0 là sự quên lãng. Cửa sổ ngữ cảnh của mô hình giọng nói thời gian thực chỉ có 32k token, tức bằng 1/300 so với mô hình thuần văn bản. Độ trễ thấp = bộ nhớ nhỏ + quên chủ động. Vừa phải trả lời ngay lập tức, vừa phải nhớ mọi câu bạn đã nói—hiện tại vẫn là bài toán khó hai mặt.
Sức mạnh tính toán vẫn chưa đủ. Một card 5090 tạo ra một ảnh SDXL mất 2 giây, FLUX mất 9 giây, huấn luyện một nhân vật LoRA cần 10-30 ảnh, hiện tại tính ra phải mất 1-2 giờ.
Tôi thuê 5090 hiện giá gần 5.000 đô la Mỹ, chạy đủ tải 575W, còn chưa tính điện phí. Vài năm tới thì sức mạnh tính toán tương đối sẽ đã lỗi thời. Thật sự rất đắt.
15 năm trước chúng tôi nhắn tin cho nhau, sau đó tin nhắn đa phương tiện có thể gửi ảnh, rồi đến gửi video, cho đến nay là cuộc gọi video thời gian thực độ nét cao không có độ trễ. Một tin nhắn chỉ có 140 byte. Từ 2G 9,6kbps đến đỉnh 5G 20Gbps, băng thông chênh nhau 2 triệu lần.
Các tuyến đường mà AI sử dụng cũng giống hệt. Ban đầu là token văn bản, đến năm ngoái có thể là hình ảnh, rồi đến giọng nói; bước tiếp theo chắc chắn là giao tiếp video không độ trễ.
Thực ra video đã bắt đầu rồi. Gemini Live năm ngoái đã có thể bật camera và đối thoại thời gian thực, mỗi giây đốt 300 token, giới hạn mặc định 2 phút, nhưng trò chuyện xong là quên hết, đắt mà hiệu quả kém, lại còn rất nguyên sơ ở nhiều chiều khác nhau, nên gần như không thể dùng được.
Hiện tại các Agent vẫn đang dùng văn bản để lập kế hoạch, và hiểu thế giới thông qua văn bản; cả chuỗi suy luận đều là token, còn phần suy luận tiềm ẩn trong không phải văn bản mới chỉ bắt đầu được thử.
AI về thời gian cũng vẫn dừng ở văn bản. Một mô hình có thể giành Huy chương vàng Olympic Toán, nhưng độ chính xác khi đọc một đồng hồ mô phỏng chỉ khoảng 50%. Cảm giác xúc giác, cảm xúc, tri giác gắn với cơ thể—còn xa rất rất nhiều so với độ trưởng thành.
Nói thêm về lưu trữ. Tôi không hề nghĩ rằng “mãi mãi thiếu lưu trữ”, “mãi mãi” là một từ quá phóng đại.
Chi phí lưu trữ mỗi GB đã giảm 99,99% trong 45 năm, về dài hạn thì đương nhiên sẽ còn rẻ hơn.
Chỉ là hiện tại AI đã hút cạn bộ nhớ; DRAM một quý tăng 90%, tình trạng thiếu tạm thời và khan hàng theo giai đoạn, chứ không có nghĩa là mãi mãi sẽ thiếu hàng.
Vậy đây có phải là nhu cầu giả không? Nhu cầu giả có đặc điểm là tháng này dùng rồi, tháng sau thì không dùng nữa.
Số token mà Google xử lý mỗi tháng tăng 7 lần trong một năm, lên tới 32 triệu tỷ. ChatGPT có 900 triệu người dùng hoạt động hằng tuần.
Giá token mỗi năm giảm 10 lần, nhưng tất cả mọi người lại đang thảo luận cách dùng token hiệu quả hơn, chứ không phải cách chúng ta không dùng token.
Một phiên hội thoại của một agent đốt 50-200 token cho mỗi lượt. Nếu giá giảm thì chúng ta chỉ dùng nhiều hơn.
Generative AI mất 3 năm để đạt mức thâm nhập 53% toàn cầu. Internet mất 7 năm, PC mất 15 năm.
Vì vậy, tất nhiên chúng ta vẫn đang ở giai đoạn đầu của AI, và sự chuyển đổi này là không thể đảo ngược. Giống như chúng ta ở thời đại 2G, nhạc chuông vẫn là “Romantic Phone”, hộp thư đầy cũng không nỡ xóa vài tin nhắn.
（图片是我用Fable5做的🎮）