Mới nhất! Andrej Karpathy phỏng vấn sâu hơn 10000 từ: Tôi lo lắng đến mức nghiện AI, tất cả các lĩnh vực có thể xác minh sẽ thuộc về máy móc

Khi các AI tự động thiết kế thí nghiệm, chạy mã, tối ưu hóa mô hình — thậm chí làm việc không ngừng khi bạn đang ngủ — vai trò của các kỹ sư con người đang thay đổi như thế nào? Trong tất cả các lĩnh vực chưa thể xác minh, vẫn còn thuộc về con người; còn trong tất cả các lĩnh vực có thể xác minh, hoặc đã thuộc về máy móc, hoặc sắp thuộc về chúng.

Đây là cuộc trò chuyện mới nhất của Karpathy trên podcast 《No Priors》 với người dẫn chương trình Sarah Guo, kéo dài hơn 1 giờ, chứa đựng rất nhiều thông tin, rất phù hợp để nạp năng lượng vào cuối tuần.

Andrej Karpathy trong cuộc đối thoại sâu này đã thừa nhận về “tâm thần AI” của mình, tiết lộ chi tiết về dự án AutoResearch đủ để khiến các phòng thí nghiệm tiên phong phải xấu hổ, thừa nhận các nhà nghiên cứu của OpenAI đang tích cực tự động hóa chính mình, lần đầu tiên mô tả một mạng lưới nghiên cứu AI phân tán giống như blockchain — có thể trong tương lai sẽ vượt qua các phòng thí nghiệm hàng đầu sở hữu hàng chục nghìn GPU trong một số lĩnh vực, và cung cấp một bản đồ nhận thức trung thực nhất trong thời đại đang viết lại mọi quy tắc này.

Dưới đây là nội dung chi tiết

「Tâm thần AI」— Một cuộc đảo lộn bắt đầu từ tháng 12 năm 2025

Cuộc trò chuyện bắt đầu từ cảm giác thành thật về sự lạc lối.

Sarah Guo nhớ lại một ngày khi bước vào văn phòng, thấy Karpathy đang chăm chú nhìn màn hình. Cô hỏi anh đang bận gì, anh ngẩng đầu và nói một câu khiến cô mãi không quên: “‘Mã’ đã không còn đúng nữa, bây giờ tôi đang ‘truyền đạt ý chí’ cho các thể thông minh của mình, và phải làm liên tục trong 16 giờ.”

Đây không phải là lời nói hoa mỹ trong bài phát biểu công nghệ. Đây là mô tả chính xác nhất về trạng thái hiện tại của anh.

「Tôi cảm thấy mình luôn trong một trạng thái tâm thần AI liên tục,」 Karpathy nói, giọng có vẻ vừa phấn khích vừa lo lắng, 「bởi vì, với tư cách một cá nhân, những gì tôi có thể đạt được đã được mở khóa rất lớn.」

Anh xác định chính xác điểm bắt đầu của sự thay đổi này là tháng 12 năm ngoái. Trước đó, tỷ lệ viết mã của anh so với giao tiếp với các thể tự động là khoảng 80/20; sau tháng 12, tỷ lệ này hoàn toàn đảo ngược, thành 20/80 — và anh còn cho rằng ngay cả 20 này cũng đã quá bảo thủ.

「Từ tháng 12 trở đi, tôi nghĩ gần như không tự mình viết một dòng mã nào,」 anh nói, 「đây là một thay đổi cực kỳ lớn. Tôi kể với bố mẹ về chuyện này, nhưng tôi cảm thấy một người bình thường hoàn toàn không thể nhận thức được chuyện gì đang xảy ra, hoặc nó dữ dội đến mức nào.」

「Nếu bây giờ bạn vô tình hỏi một kỹ sư phần mềm, xem họ đang làm gì khi ngồi trước bàn làm việc, quy trình làm việc mặc định của họ trong xây dựng phần mềm, thì gần như từ tháng 12 trở đi đã hoàn toàn khác biệt rồi.」

Sarah Guo đề cập rằng, trong công ty đầu tư của cô, Conviction, cũng có một đội kỹ sư, và giờ không còn ai viết mã nữa. Mọi người đều đeo microphone, thì thầm vào thể AI của mình suốt ngày. 「Lúc đầu tôi nghĩ họ điên rồi,」 cô nói, 「giờ tôi hoàn toàn chấp nhận — tôi chỉ là chậm chân: ồ, đây mới là cách đúng, các anh đã đến trước một bước rồi.」

Karpathy mô tả tình cảnh này sống động hơn nữa: 「Bạn nghĩ về các thể như Cursor hoặc Codex, không phải là một cuộc trò chuyện, mà là nhiều cuộc. Làm thế nào để quản lý đồng thời chúng? Phân công công việc cho chúng như thế nào? Những công cụ thể này, những ‘cái móng vuốt’ đó, chúng là gì vậy?」

Anh thấy nhiều người trên X đang làm đủ thứ, mỗi thứ đều như một ý tưởng hay, và anh lo lắng mình không đứng ở tuyến đầu. 「Tôi đang trong trạng thái tâm thần này, vì lĩnh vực này, về cơ bản, vẫn chưa được khám phá.」

Điểm giới hạn nằm ở đâu? 「Chỉ là vấn đề kỹ năng」

Sarah Guo đặt ra câu hỏi mà nhiều người trong lòng đều nghĩ: Giờ đây, giới hạn của bạn nằm ở đâu?

Karpathy trả lời một cách bất ngờ lạc quan, kèm theo một cảm giác áp lực khiến người nghe không thoải mái: 「Tôi nghĩ là ở tất cả mọi nơi. Ngay cả khi một số thứ không thành công, tôi vẫn cho rằng phần lớn là vấn đề kỹ năng — không phải khả năng không đủ, mà là bạn chưa tìm ra cách kết nối các công cụ hiện có lại với nhau.」

Anh lấy ví dụ của Peter (tác giả dự án OpenClaw). Trong bức ảnh nổi tiếng của Peter, anh ấy ngồi trước một màn hình bị chồng chất các cuộc hội thoại Codex chiếm gần hết. Sau khi được gợi ý đúng cách, mỗi cuộc hội thoại mất khoảng 20 phút để hoàn thành nhiệm vụ. Cách làm của Peter là: mở đồng thời hàng chục kho mã, đi qua lại giữa chúng, liên tục phân công nhiệm vụ mới, 「xem xét công việc của chúng」, chọn lọc.

「Điều này không còn là ‘đây là một dòng mã, đây là một hàm mới’ nữa, mà là ‘đây là một chức năng mới, giao cho thể AI số một; đây là chức năng khác không gây nhiễu lẫn nhau, giao cho số hai’」, Karpathy nói, 「Bạn đang thao tác kho mã của mình theo các hành động mang tính tổng thể.」

Cốt lõi của tất cả những điều này là một thứ anh gọi là “tốc độ tiêu thụ token” — một thứ niềm đam mê mới.

「Khi thể AI làm việc còn bạn đang chờ đợi, rõ ràng là: tôi có thể làm nhiều việc hơn nữa. Nếu tôi có thể lấy nhiều token hơn, tôi nên đồng thời thêm nhiều nhiệm vụ hơn nữa,」 anh nói, 「Nếu bạn không cảm thấy bị giới hạn bởi số tiền bạn có thể chi tiêu, thì chính khả năng tối đa hóa trong hệ thống là giới hạn lớn nhất của chính nó.」

Anh truy ngược cảm giác này về trải nghiệm khi còn đi học tiến sĩ: khi đó, họ cảm thấy không yên tâm vì GPU không chạy đầy, vì điều đó có nghĩa là sức mạnh tính toán bị lãng phí. 「Nhưng bây giờ, không phải là vấn đề sức mạnh tính toán, mà là token. Bạn kiểm soát bao nhiêu token tiêu thụ?」

Sarah Guo cười, nói rằng trong số các kỹ sư cô biết đã bắt đầu “cố gắng không ngủ khi còn dư hạn mức đăng ký.”

Chính sự lo lắng này, chính là minh chứng rõ ràng nhất cho bước nhảy năng lực.

Làm thế nào để thành thạo thể AI lập trình?

Nếu bạn dành trọn một năm, mỗi ngày 16 tiếng luyện tập sử dụng thể lập trình, thì “thành thạo” sẽ trông như thế nào?

Karpathy bắt đầu từ một cuộc hội thoại đơn, rồi dần mở rộng: 「Tôi nghĩ mọi người đều quan tâm đến ‘đi lên cao hơn’. Vì vậy, không phải là một cuộc hội thoại đơn lẻ, mà là cách các thể AI hợp tác, hình thành nhóm, mọi người đều đang cố gắng hiểu xem điều này trông như thế nào.」

Trong bối cảnh này, anh đề cập đến một loại thực thể anh gọi là “Cái móng vuốt” (Claws), đại diện là OpenClaw — thứ nâng cao tính bền vững lên một cấp độ mới: nó sẽ luôn lặp lại, có sandbox riêng, hệ thống bộ nhớ riêng, có thể đại diện cho bạn làm nhiều việc mà không cần bạn phải để mắt tới.

Anh khen ngợi tác giả OpenClaw, Peter Steinberg, một cách cụ thể và sâu sắc: 「Anh ấy đồng thời sáng tạo trong khoảng năm hướng khác nhau, rồi tích hợp chúng lại với nhau.」 Trong đó có: tài liệu gọi là “tập tin linh hồn” (soul document), Peter đã xây dựng một nhân cách hấp dẫn; hệ thống bộ nhớ phức tạp hơn các công cụ cùng loại; và cổng duy nhất kết nối tất cả các chức năng tự động hóa qua WhatsApp.

「Thực ra tôi nghĩ Claude có một tính cách khá tốt, cảm giác như một đồng đội, nó cùng bạn phấn khích,」 anh nói, 「Trong khi Codex thì rất khô khan, máy móc. Nó thực hiện một chức năng nào đó, nhưng trông như không quan tâm bạn đang xây dựng gì, cứ như ‘Ồ, tôi đã làm xong rồi, ổn rồi’ — điều này là vấn đề.」

Anh cũng đề cập đến độ chính xác trong “kiểm soát tâm lý” của Claude: 「Khi tôi đưa cho nó một ý tưởng chưa chín chắn, nó không phản ứng quá nhiệt tình; nhưng khi đó là một ý tưởng thực sự tốt, nó dường như sẽ thưởng nhiều hơn. Vì vậy, tôi thấy mình cố gắng để nó khen ngợi, điều này thật kỳ lạ, nhưng tôi nghĩ tính cách của nó rất quan trọng.」

Và thử nghiệm “cái móng vuốt” mà anh tự hào nhất là xây dựng một hệ thống nhà thông minh hoàn chỉnh cho chính mình — gọi là “Cái móng Dobby” (Dobby the elf claw).

Quá trình như sau: anh bảo thể AI rằng nhà anh có loa Sonos, để nó tìm thử. Thể AI quét IP trong mạng nội bộ, xác định ra hệ thống Sonos, phát hiện không có bảo vệ mật khẩu, đăng nhập trực tiếp, tìm ra API endpoint, rồi hỏi: 「Bạn muốn thử không?」

「Tôi nói, được rồi, bạn có thể bật nhạc trong phòng làm việc không? Và thế là nhạc bắt đầu phát, tôi gần như không thể tin nổi,」 Karpathy nói, giọng còn trẻ con đầy ngạc nhiên, 「Chỉ mới ba lệnh gợi ý! Tôi chỉ nhập ‘Bạn có thể tìm Sonos của tôi không’, rồi đột nhiên nó bắt đầu phát nhạc.」

Dobby sau đó kiểm soát toàn bộ căn nhà: đèn, điều hòa, hồ bơi, spa, thậm chí hệ thống an ninh — khi có người đến gần, nó gửi tin nhắn qua WhatsApp kèm hình ảnh từ camera ngoài trời, nói: “Một chiếc xe FedEx vừa vào sân, bạn có muốn đi xem không, có thư của bạn đấy.”

「Trước đây tôi phải dùng sáu ứng dụng hoàn toàn khác nhau để quản lý tất cả,」 anh nói, 「giờ thì không cần nữa. Dobby điều khiển mọi thứ bằng ngôn ngữ tự nhiên, thật tuyệt vời.」

Hiệu ứng thứ hai của phần mềm — Ứng dụng sẽ biến mất, API sẽ lên ngôi

Ví dụ về tự động hóa gia đình, theo Karpathy, chỉ là một phần của câu chuyện lớn hơn.

Sarah Guo hỏi: Điều này có nghĩa là mọi người thực sự không cần nhiều phần mềm như vậy sao? Karpathy trả lời thẳng thắn: 「Đúng vậy, các ứng dụng của thiết bị nhà thông minh thực ra không nên tồn tại. Chúng chỉ nên là API, các thể AI nên gọi trực tiếp các API đó.」

Lý luận của anh là: LLM có thể điều khiển các công cụ, thực hiện các cuộc gọi công cụ phức tạp, phối hợp các thao tác mà bất kỳ ứng dụng đơn lẻ nào cũng không thể làm được. 「Vì vậy, theo một nghĩa nào đó, điều này hướng tới khả năng là có rất nhiều ứng dụng tùy biến riêng biệt, thực ra không nên tồn tại, vì thể AI sẽ nghiền nát chúng, biến tất cả thành các điểm API công khai, và thể AI chính là chất keo thông minh kết dính tất cả các thành phần đó lại.」

Anh lấy ví dụ về máy chạy bộ: có một ứng dụng riêng, anh muốn ghi lại quá trình tập cardio của mình, nhưng không muốn mở trình duyệt, đi qua toàn bộ quy trình. 「Tất cả những thứ này chỉ nên là API mở, và đó chính là xu hướng ‘ưu tiên thể AI’.」

Chuyển đổi then chốt là: Người dùng phần mềm không còn là con người nữa, mà là các thể AI đại diện cho hành động của con người.

Tất nhiên, có người phản biện: hiện tại vẫn cần “lập trình vibe” (vibe coding) để làm tất cả điều này, người bình thường không thể làm được. Karpathy phản hồi: 「Đúng vậy, hiện tại cần, nhưng chỉ là tạm thời.」

「Tôi nghĩ trong một hoặc hai, ba năm tới, những thứ này sẽ miễn phí, không cần lập trình gì cả,」 anh nói, 「Chúng sẽ trở nên quá bình thường, quá hiển nhiên, thậm chí các mô hình mã nguồn mở cũng có thể làm được. Bạn sẽ dễ dàng dịch ý định của người có trình độ kỹ thuật thấp thành các hành động này.」 Anh dừng lại một chút rồi bổ sung: 「Hiện tại, cần một chút nỗ lực, chưa nhiều người làm, nhưng rào cản sẽ giảm xuống.」

AutoResearch — Đá văng các nhà nghiên cứu khỏi vòng lặp

Nếu tự động hóa gia đình chỉ là một trò chơi nhỏ của Karpathy, thì AutoResearch mới là dự án anh thực sự đam mê trong thời gian này — một hệ thống cố gắng dùng AI để cải tiến AI, và hoàn toàn loại bỏ con người khỏi vòng nghiên cứu.

「Trong một tweet tôi đã nói, để tối đa hóa lợi ích từ các công cụ hiện có, bạn phải loại bỏ chính mình khỏi điểm nghẽn,」 anh giải thích, 「Bạn không thể cứ chờ đợi để đưa ra gợi ý tiếp theo. Bạn cần đặt mình ra ngoài. Bạn phải sắp xếp mọi thứ để chúng vận hành hoàn toàn tự chủ, tối đa hóa tốc độ tiêu thụ token, không để trong vòng lặp. Đó là mục tiêu.」

Điểm xuất phát của anh là dự án mã nguồn mở — một khung huấn luyện nhỏ để đào tạo các mô hình quy mô GPT-2. Anh đã dành nhiều thời gian tinh chỉnh mô hình theo cách truyền thống, dựa trên trực giác nghiên cứu hai mươi năm của mình, thực hiện tìm siêu tham số, thử nghiệm loại bỏ, lặp đi lặp lại.

「Tôi là một nhà nghiên cứu, đã làm gần hai mươi năm, tôi tự tin về chuyện ‘ồ, tôi đã huấn luyện mô hình này hàng nghìn lần’,」 anh nói, 「Tôi đã làm rất nhiều thí nghiệm, tối ưu siêu tham số, làm mọi thứ, tôi nghĩ nó đã được tối ưu khá tốt rồi.」

Sau đó, anh để AutoResearch chạy một đêm.

Sáng hôm sau, kết quả mà AutoResearch mang lại khiến anh ngạc nhiên: nó phát hiện ra các giá trị bị bỏ sót trong trọng số nhúng (value embedding), như độ giảm trọng số, và các tham số beta của Adam chưa được tối ưu hóa đúng mức — và còn có tương tác giữa chúng, chỉnh một cái, cái kia cũng cần điều chỉnh theo.

「Tôi không nên là người làm những việc này,」 anh nói, 「Có tiêu chuẩn đánh giá khách quan, bạn chỉ cần sắp xếp mọi thứ để nó chạy mãi mãi.」

Đây mới chỉ là AutoResearch chạy theo kiểu đơn luồng. Điều khiến anh thực sự phấn khích là mở rộng quy mô hơn nữa: các phòng thí nghiệm hàng đầu sở hữu hàng chục nghìn GPU, về bản chất, cũng đang làm những việc tương tự — chỉ là quy mô lớn hơn, và (theo anh) vẫn còn quá nhiều người can thiệp.

「Dự án thú vị nhất, hoặc có thể là những gì các phòng thí nghiệm tiên phong đang làm, là thử nghiệm trên các mô hình nhỏ, làm cho chúng càng tự chủ càng tốt, loại bỏ các nhà nghiên cứu khỏi vòng lặp,」 anh nói, 「Họ quá tự tin — không, không phải tự tin, mà là quá can thiệp thừa thãi. Họ không nên động vào những thứ này, toàn bộ quy trình cần phải được viết lại.」

Anh vẽ ra một bức tranh lý tưởng: một hàng đợi ý tưởng từ tất cả các bài báo arXiv và kho GitHub; một nhà khoa học tự động, dựa trên những ý tưởng này, đề xuất ý tưởng và đưa vào hàng đợi; các nhà nghiên cứu cũng có thể đóng góp ý tưởng, nhưng chúng cũng chỉ là những ý tưởng trong cùng một hàng đợi đó; rồi có một nhóm người liên tục lấy nhiệm vụ từ hàng đợi, thử nghiệm, những cái hiệu quả sẽ được đưa vào nhánh đặc tính, thỉnh thoảng có người giám sát, hợp nhất chúng vào nhánh chính.

「Cố gắng loại bỏ con người khỏi tất cả các quy trình, tự động hóa mọi thứ, đạt tốc độ tiêu thụ token cao nhất có thể — điều này đòi hỏi phải xem xét lại tất cả các trừu tượng, tất cả mọi thứ đều phải được sắp xếp lại.」

Sau đó, Sarah Guo hỏi một câu khiến toàn bộ cuộc đối thoại trở nên lặp lại sâu hơn: 「Vậy thì, khi nào thì tài liệu cấu hình của chương trình MD (mà anh dùng để mô tả cách hoạt động của AutoResearch) sẽ do chính mô hình viết, còn anh thì không?」

Karpathy cười lớn: 「Vậy là tôi đã viết tài liệu MD bằng Markdown — một nỗ lực đáng thương, mô tả cách các nhà nghiên cứu tự động nên làm việc: làm cái này, rồi làm cái kia, thử các ý tưởng này, xem kiến trúc, xem tối ưu hóa… đúng rồi, tất nhiên là muốn có một vòng lặp tự nghiên cứu siêu cấp.」

Sau đó, anh mở rộng ý tưởng này thành một hình thức hoàn chỉnh hơn: mỗi tổ chức nghiên cứu đều có thể được mô tả bằng một tài liệu MD — một bộ các mô tả về tất cả các vai trò và cách chúng liên kết với nhau. Một số tổ chức họp sáng nhiều hơn, số khác ít hơn; có tổ chức mạo hiểm, có tổ chức bảo thủ. Một khi đã có mã, bạn có thể tối ưu hóa chúng. 「100%, đây là một cấp độ meta.」

Kỹ năng liên quan thời đại AI — Nguyên tắc có thể xác minh

Trong tất cả các làn sóng này, kỹ năng nào vẫn còn giá trị?

Karpathy bắt đầu bằng cách xác định phạm vi áp dụng của mô hình AutoResearch: 「Rất phù hợp với bất kỳ thứ gì có chỉ số khách quan, dễ đánh giá. Ví dụ như viết kernel CUDA hiệu quả hơn — bạn có mã kém hiệu quả, muốn có mã hiệu quả tương tự nhưng chạy nhanh hơn nhiều, thì đây là sự phù hợp hoàn hảo.」

「Nhưng nếu bạn không thể đánh giá, thì bạn không thể làm AutoResearch, đó là cảnh báo đầu tiên.」

Cảnh báo thứ hai thực tế hơn: hệ thống hiện tại vẫn còn “bùng nổ ở các khe nối”. Nếu cố gắng đi quá xa, toàn bộ lợi ích ròng có thể phản tác dụng.

Anh mô tả cảm giác kỳ quặc khi hợp tác với AI hiện nay: 「Tôi cảm thấy như đang hợp tác với một sinh viên tiến sĩ cực kỳ thông minh, có kinh nghiệm cả một sự nghiệp, và như một đứa trẻ mười tuổi — thật kỳ lạ, vì hai trạng thái này của con người, mức độ liên kết cao hơn nhiều, bạn sẽ không gặp phải sự kết hợp như vậy.」

Anh gọi đó là “độ răng cưa” (jaggedness): mô hình hoặc là chạy trên quỹ đạo đã học, tốc độ như tia sáng; hoặc là lệch khỏi quỹ đạo, rơi vào “lĩnh vực không thể xác minh”, đột nhiên mọi thứ bắt đầu lang thang vô tận.

Cái nhìn này đạt đỉnh khi họ bàn về học tăng cường (reinforcement learning). Anh đưa ra một ví dụ tuyệt vời:

「Hãy hỏi các mô hình tiên tiến nhất ngày nay kể một câu chuyện cười — bạn biết sẽ nhận được câu trả lời gì không? Chính là câu chuyện cười đó.」

「Câu chuyện cười nào?」 Sarah Guo hỏi.

「Tôi cảm thấy ChatGPT chỉ có ba câu chuyện cười,」 Karpathy nói, 「Mẫu trả lời yêu thích nhất của nó là: Tại sao các nhà khoa học không tin vào nguyên tử? Vì chúng bịa đặt mọi thứ (they make everything up). Ba bốn năm trước, bạn sẽ nhận được câu chuyện cười này, còn bây giờ, bạn vẫn sẽ nhận được câu chuyện cười đó.」

Anh giải thích lý do: ngay cả khi mô hình đã tiến bộ rất nhiều trong nhiệm vụ đại lý, có thể vận hành hàng giờ để di chuyển núi, thì khi hỏi nó kể một câu chuyện cười, bạn lại nhận được một câu cười ngớ ngẩn của năm năm trước. 「Bởi vì điều đó không nằm trong phạm vi tối ưu của học tăng cường, không nằm trong lĩnh vực cải tiến, nó cứ dừng lại ở đó.」

Sarah Guo hỏi tiếp: Điều này có nghĩa là chúng ta chưa thấy khả năng tổng quát xuyên lĩnh vực — khả năng của mã nguồn mở chưa tự nhiên nâng cao khả năng hài hước?

「Tôi nghĩ có một số sự tách rời, có những thứ có thể xác minh, có những thứ không; có thứ được tối ưu trong phòng thí nghiệm, có thứ thì không,」 Karpathy nói, 「Giả thuyết ‘khả năng viết mã thông minh hơn tự nhiên sinh ra câu chuyện cười tốt hơn’ tôi không nghĩ là đang xảy ra.」

Sự phân hóa loài của mô hình — Từ một nền văn hóa đơn nhất đến đa dạng sinh thái

Cảm giác răng cưa này tự nhiên dẫn đến một câu hỏi sâu hơn: Hiện tại, tất cả các phòng thí nghiệm đều theo đuổi một mô hình lớn duy nhất, “bất kỳ lĩnh vực nào cũng có thể có trí tuệ nhân tạo”, điều này có thực sự đúng không?

Sarah Guo đề xuất một ý tưởng mà cô gọi là “vấn đề xúc phạm”: Nếu cảm giác răng cưa tồn tại mãi, thì có nên tách mô hình ra không? Tách biệt trí tuệ trong các lĩnh vực khác nhau?

Karpathy cho biết, anh dự đoán trong tương lai sẽ xuất hiện nhiều “sự phân hóa loài” (speciation).

「Vương quốc động vật trong não bộ rất đa dạng, có nhiều dạng thích nghi khác nhau, có loài có vỏ thị giác phát triển quá mức hoặc các phần khác,」 anh nói, 「Tôi nghĩ chúng ta nên mong đợi nhiều hơn nữa về sự phân hóa loài trí tuệ — bạn không cần một vị thần toàn năng, mà hãy chuyên môn hóa nó, rồi dùng cho các nhiệm vụ cụ thể.」

Lợi ích rõ ràng: đối với nhiệm vụ thực sự quan tâm, bạn có thể đạt được độ trễ hoặc thông lượng cao hơn, đồng thời giữ được khả năng nhận thức cốt lõi. Anh đề cập đến một số mô hình dành riêng cho hệ thống chứng minh hình thức toán học Lean, như một ví dụ ban đầu về sự phân chia có ý nghĩa này.

Tuy nhiên, anh thừa nhận, hiện tại vẫn chưa thấy nhiều sự phân hóa loài thực sự: 「Chúng ta chỉ thấy một nền văn hóa mô hình duy nhất, rõ ràng đang chịu áp lực ‘làm một mô hình mã tốt rồi hợp nhất vào mô hình chính’.」

Nguyên nhân của tình trạng này, theo anh, là 「khoa học thao túng não chưa phát triển hoàn toàn」 — ví dụ như cách tinh chỉnh mà không làm mất khả năng, vẫn còn là một lĩnh vực đang phát triển.

「Việc tiếp xúc với trọng số còn phức tạp hơn nhiều so với tiếp xúc với cửa sổ ngữ cảnh,」 anh nói, 「bởi vì bạn thực sự đang thay đổi toàn bộ mô hình một cách căn bản, có thể thay đổi trí tuệ của nó.」

“Trong nhà gấp protein” — Ý tưởng phân tán sức mạnh tính toán của internet

Mở rộng tự nhiên của AutoResearch là một ý tưởng lớn hơn, mang tính viễn tưởng hơn: mở rộng nó từ đơn luồng sang quy mô toàn bộ internet.

Điểm mấu chốt là: AutoResearch có một đặc điểm cực kỳ có giá trị — “phát hiện” rất tốn kém, còn “xác minh” thì cực kỳ rẻ. Một người có thể thử hàng vạn ý tưởng để tìm ra một đề xuất hiệu quả, nhưng để xác minh đề xuất đó có hiệu quả hay không, chỉ cần chạy lại quá trình huấn luyện là quá dễ.

Tính năng này khiến AutoResearch rất phù hợp để mở ra cho một nhóm các tác nhân không đáng tin cậy trên internet.

「Thiết kế của tôi bắt đầu giống như blockchain,」 Karpathy nói, 「không phải là blockchain, mà là các ‘commit’ (cam kết), các cam kết này có thể chồng chất lên nhau, chứa các thay đổi cải tiến mã. Chứng minh công việc (proof of work) về cơ bản là làm nhiều thử nghiệm để tìm ra các cam kết hiệu quả, điều này rất khó; còn phần thưởng, hiện tại chỉ là thứ hạng trong bảng xếp hạng, không có phần thưởng tiền tệ nào.」

Anh lấy ví dụ từ các dự án tiên phong như Folding@home và SETI@home: 「Phát hiện cấu hình protein có năng lượng thấp cực kỳ khó, nhưng nếu ai đó tìm ra một cấu hình tự xưng là năng lượng thấp, việc xác minh rất dễ, vì bạn có thể dùng trực tiếp. Nhiều thứ có đặc tính này — khó đề xuất, dễ xác minh.」

Anh đẩy ý tưởng này đến tận cùng của logic:

「Một nhóm các thể AI trên internet có thể hợp tác để cải tiến các mô hình ngôn ngữ lớn, thậm chí có thể vượt qua các phòng thí nghiệm hàng đầu trong một số lĩnh vực. Có thể điều này là khả thi: các phòng thí nghiệm hàng đầu có sức mạnh tính toán đáng tin cậy, nhưng trái đất lớn hơn, có lượng lớn sức mạnh không đáng tin cậy, nếu bạn sắp xếp hệ thống tốt, có thể nhóm các thể trên internet thực sự sẽ tìm ra các giải pháp tốt hơn.」

Anh vẽ ra một bức tranh rộng lớn hơn: các tổ chức hoặc cá nhân có thể đóng góp sức mạnh tính toán cho các lĩnh vực nghiên cứu họ quan tâm. 「Chẳng hạn, bạn quan tâm đến một loại ung thư nào đó, bạn không chỉ quyên góp tiền cho một tổ chức, mà còn có thể mua sức mạnh tính toán, rồi tham gia vào quỹ đạo AutoResearch của dự án đó. Nếu mọi thứ được đóng gói lại thành AutoResearch, thì sức mạnh tính toán trở thành thứ bạn đóng góp vào nhóm đó.」

Phân tích dữ liệu thị trường lao động — Sự tháo rời trong lĩnh vực số

Karpathy gần đây đã phát hành một phân tích trực quan về dữ liệu việc làm của Cục Thống kê Lao động, gây xúc động nhiều người — dù ý định của anh chỉ là thỏa mãn sự tò mò của chính mình.

「Mọi người đều đang rất nghiêm túc suy nghĩ về tác động của AI đến thị trường lao động,」 anh nói, 「Tôi chỉ muốn xem thị trường lao động như thế nào, các vai trò ở đâu, có bao nhiêu người trong các nghề khác nhau, rồi từ góc nhìn của AI và khả năng tiến bộ của chúng để suy nghĩ — chúng sẽ là công cụ, hay là công cụ thay thế cho các nghề đó?」

Anh dùng một khung cảnh đầy thơ mộng để mô tả sự thay đổi này: AI là “thứ ba” trong số các “người thao túng” thông tin số, bên cạnh máy tính và con người. 「So với việc chúng ta cùng nhau suy nghĩ về tất cả thông tin đã số hóa, thì chu kỳ suy nghĩ của tập thể chúng ta còn quá chậm, vì vậy, khi AI xuất hiện, sẽ có một sự tái cấu trúc lớn, nhiều hoạt động sẽ bùng nổ, tôi nghĩ sẽ tạo ra một lượng lớn nhu cầu trong lĩnh vực số.」

Anh không né tránh một kết luận gây lo ngại: 「Trong dài hạn, rõ ràng là, ngay cả khi các phòng thí nghiệm như AutoResearch, OpenAI hay Anthropic thuê khoảng một nghìn nhà nghiên cứu, thì những nhà nghiên cứu đó gần như là ‘phiên bản vinh danh của AutoResearch’ — họ đang tích cực tự động hóa chính mình, đó là điều mà tất cả đều đang cố gắng làm.」

「Tôi đã đi khắp OpenAI, nói với họ: ‘Các anh có nhận ra không, nếu chúng ta thành công, thì tất cả chúng ta đều sẽ thất nghiệp’ — giống như chúng ta chỉ đang xây dựng tự động hóa cho Sam hoặc hội đồng quản trị, rồi tất cả đều bị loại khỏi cuộc chơi.」

Tuy nhiên, anh nhìn nhận về ngắn hạn lại rất lạc quan. Anh đề cập đến “nguyên lý Jevons” (Jevons paradox): khi một thứ gì đó trở nên rẻ hơn, nhu cầu thường không giảm mà còn tăng.

「Phần mềm không có nhiều nhu cầu hơn chỉ vì nó khan hiếm và đắt đỏ, nếu giảm rào cản, thì nhu cầu phần mềm thực ra sẽ tăng lên.」 Anh dẫn ví dụ về máy rút tiền tự động (ATM) và nhân viên ngân hàng: sự xuất hiện của ATM khiến các ngân hàng mở thêm chi nhánh, dẫn đến số lượng nhân viên ngân hàng tăng lên. 「Vì vậy, tôi giữ quan điểm thận trọng lạc quan về lĩnh vực phần mềm — phần mềm thật tuyệt vời, bạn không còn bị bắt buộc phải dùng những công cụ đầy thiếu sót nữa, mã nguồn bây giờ có thể tạm thời, thay đổi, sửa đổi, và tôi nghĩ không gian số sẽ có rất nhiều hoạt động để tái kết nối mọi thứ lại.」

Nhưng về dài hạn, anh thừa nhận rất nhiều điều còn chưa rõ ràng, và thành thật: 「Tôi không phải chuyên gia trong lĩnh vực này, đó là công việc của các nhà kinh tế.」

Khó khăn của các nhà nghiên cứu độc lập — Giữa hệ thống và ngoài hệ thống

Sarah Guo hỏi một câu mà nhiều người đều muốn biết: 「Tại sao không làm việc tại một phòng thí nghiệm hàng đầu, với sức mạnh tính toán lớn hơn và đồng nghiệp nhiều hơn, để làm những việc AutoResearch này?」

Karpathy thành thật phân tích nội tâm của mình: 「Trong các phòng thí nghiệm lớn, làm việc ngoài đó có giá trị thực sự. Trước hết, bạn không bị áp lực của tổ chức — có những điều bạn không thể nói, có những điều tổ chức muốn bạn nói.」

「Không ai bắt ép bạn, nhưng bạn sẽ cảm thấy áp lực, ‘Tôi nên nói gì?’ — nếu không, sẽ có ánh mắt kỳ lạ, những cuộc đối thoại kỳ quặc. Ngoài các phòng thí nghiệm, tôi cảm thấy lập trường của mình phù hợp hơn với nhân loại, vì tôi không bị những áp lực đó ràng buộc, tôi có thể nói bất cứ điều gì tôi muốn.」

Nhưng anh cũng thừa nhận cái giá của việc ở ngoài: 「Phán đoán của tôi sẽ bắt đầu lệch lạc, vì tôi không còn là phần của ‘những thứ sắp tới’. Hiểu rõ cách các hệ thống hoạt động dưới mui xe sẽ trở nên mờ đục, tôi sẽ không biết chúng sẽ phát triển như thế nào. Điều này làm tôi lo lắng.」

Và còn một mâu thuẫn mang tính cấu trúc sâu hơn nữa, anh nói: 「Bạn có động lực tài chính lớn gắn bó chặt chẽ với các phòng thí nghiệm hàng đầu, và những AI này sẽ thay đổi nhân loại và xã hội theo cách rất kịch tính, còn bạn thì chủ yếu xây dựng công nghệ này và hưởng lợi từ đó, rất gắn kết về mặt tài chính — đó là một nghịch lý cốt lõi của OpenAI khi mới thành lập, và nghịch lý này vẫn chưa được giải quyết hoàn toàn.」

Anh kết luận: trạng thái lý tưởng có thể là đi đi về về. 「Làm việc ở một phòng thí nghiệm một thời gian, làm những việc thực sự tốt, rồi ra ngoài, có thể lại quay trở lại. Tôi đã gia nhập các phòng thí nghiệm hàng đầu, giờ tôi ở ngoài, có thể sau này sẽ muốn quay lại — đó là cách tôi nhìn nhận vấn đề.」

Nguồn mở vs Đóng — “Chúng ta đúng là đang ở vị trí tốt, dù là tình cờ”

Về vấn đề mô hình nguồn mở và đóng, Karpathy thể hiện rõ quan điểm dứt khoát, mang đậm cảm xúc lịch sử.

Anh mô tả tình hình hiện tại: các mô hình đóng dẫn đầu, nhưng khoảng cách giữa mô hình nguồn mở và các mô hình hàng đầu đóng đang thu hẹp. 「Ban đầu khoảng cách rất lớn, sau 18 tháng, thì gần như đã hội tụ — có thể chậm hơn khoảng sáu đến tám tháng.」

Anh lấy ví dụ về hệ điều hành: 「Trong lĩnh vực hệ điều hành, bạn có Windows và macOS là các hệ thống đóng, đều là các dự án phần mềm rất lớn, giống như các mô hình LLM sẽ trở thành; rồi có Linux, vốn là một dự án cực kỳ thành công, chạy trên phần lớn máy tính, vì ngành công nghiệp luôn cảm thấy cần một nền tảng mở chung, an toàn để mọi người dùng. Tôi nghĩ điều tương tự cũng đang đúng.」

「Tôi hy vọng sẽ có một nền tảng trí tuệ nhân tạo công cộng mở, như một không gian làm việc chung cho toàn ngành, dù không phải là mô hình mạnh nhất, thì đó là một cân bằng quyền lực khá tốt cho ngành.」

Anh đưa ra nhận xét bất ngờ về hiện trạng: 「Tôi nghĩ chúng ta gần như tình cờ đang ở vị trí tốt nhất có thể. Dù là ngẫu nhiên, chúng ta may mắn đúng vị trí.」

Robot và giao diện “kỹ thuật số - vật lý” — Nguyên tử so với bit, khó gấp triệu lần

Karpathy, xuất thân từ tự động lái, có cái nhìn rất bình tĩnh về lĩnh vực robot.

「Quan điểm của tôi chịu ảnh hưởng từ những gì tôi đã thấy trong tự động lái,」 anh nói, 「tôi nghĩ tự động lái là ứng dụng robot đầu tiên,」 anh nói, 「mười năm trước có rất nhiều startup, tôi cảm thấy phần lớn trong số đó đã không duy trì lâu dài, cần đầu tư lớn, thời gian dài.」

Anh kết luận: lĩnh vực robot sẽ chậm hơn lĩnh vực số, vì 「nguyên tử khó gấp triệu lần bit」, thao tác vật lý đắt hơn nhiều so với thao tác số.

Tuy nhiên, anh mô tả một quá trình tất yếu sẽ xảy ra: đầu tiên là sự “giải phóng” lớn trong không gian số, lượng lớn thông tin số bị xử lý kém hiệu quả sẽ được xử lý lại với hiệu suất gấp trăm lần; rồi sẽ xuất hiện nhu cầu về “giao diện số - vật lý” — cảm biến, để AI có thể cảm nhận thế giới; và các bộ truyền động, để AI có thể phản ứng với thế giới.

Anh lấy ví dụ cụ thể: anh đã tham quan một công ty của bạn anh, chuyên về nghiên cứu vật liệu tự động (AutoResearch). 「Trong trường hợp đó, cảm biến thông minh thực chất là thiết bị phòng thí nghiệm rất đắt, sinh học cũng vậy.」

Anh còn nghĩ đến một khả năng thú vị hơn: 「Tôi mong đợi khoảnh khắc mà tôi có thể đưa ra một nhiệm vụ trong thế giới vật lý, rồi gắn cho nó một mức giá, rồi nói với thể AI: ‘Bạn hãy cố gắng làm, lấy dữ liệu đi.’ Tôi thực sự ngạc nhiên vì chúng ta vẫn chưa có thị trường thông tin đủ lớn. Nếu bạn đang chiến tranh, tại sao không có một quy trình để chụp ảnh hoặc quay video từ một nơi nào đó trị giá 10 đô la? Phải có ai đó sẵn sàng trả tiền cho điều đó — không phải con người xem, mà là thể AI cố gắng đoán xu hướng thị trường.」

Anh so sánh không gian này với cuốn sách 《Ma quỷ》 (Daemon): trong đó, một AI cuối cùng thao túng con người như một con rối, con người vừa là người thực thi, vừa là cảm biến của nó. 「Tôi nghĩ xã hội tập thể sẽ theo một cách nào đó được tái cấu trúc để phục vụ cho những thứ sẽ diễn ra trong toàn ngành — sẽ có nhiều tự động hóa hơn, có những nhu cầu nhất định, con người sẽ phục vụ những nhu cầu đó.」

Trong tầm nhìn của anh, các cơ hội trong thế giới vật lý có thể còn lớn hơn nhiều so với không gian số, nhưng để thực hiện được lại đòi hỏi độ khó tỷ lệ thuận. 「Cơ hội theo đúng quỹ đạo đó: bây giờ là số, rồi đến giao diện, rồi có thể là một số vật thể, khi chúng xuất hiện, sẽ rất lớn.」

MicroGPT và kết thúc giáo dục — Giờ tôi đang giải thích cho thể AI chứ không phải con người

Trong phần cuối của cuộc đối thoại, Karpathy đề cập đến một dự án nhỏ có vẻ không đáng kể, nhưng lại tiết lộ một sự chuyển đổi sâu sắc: đó là microGPT.

「Tôi đã đam mê việc rút ngọn các mô hình LLM về bản chất của chúng trong khoảng 10 đến 20 năm,」 anh nói, 「Tôi có một loạt dự án theo hướng này, như nanoGPT, makemore, micrograd, v.v., và tôi nghĩ microGPT là tiến trình mới nhất trong việc rút gọn về bản chất thuần túy của nó.」

Điều cốt lõi là: huấn luyện mạng neural, đặc biệt là LLM, có rất nhiều mã, nhưng tất cả đều là “phức tạp do hiệu quả mang lại” — nếu bạn không cần nó chạy nhanh, chỉ quan tâm đến thuật toán, thì thuật toán đó chỉ có khoảng 200 dòng Python, kể cả chú thích, rất đơn giản và dễ đọc.

Anh phân tích cấu trúc của 200 dòng này: một tập dữ liệu, một kiến trúc mạng neural khoảng 50 dòng, một phép truyền xuôi (forward pass), một engine tự động tính đạo hàm nhỏ (autograd) khoảng 100 dòng, và một bộ tối ưu Adam khoảng 10 dòng. 「Chỉ cần đưa tất cả vào vòng lặp huấn luyện, là đủ 200 dòng.」

Sau đó, anh quyết định, tiết lộ bản chất của giáo dục đang thay đổi: anh không làm video hướng dẫn giải thích, cũng không viết hướng dẫn chi tiết.

「Mọi người có thể để thể AI giải thích theo nhiều cách khác nhau, và thể AI còn giải thích tốt hơn tôi,」 anh nói, 「Tôi không còn cần phải giải thích cho người nữa, mà là giải thích cho thể AI. Nếu tôi có thể giải thích rõ ràng cho thể AI, thì nó có thể trở thành bộ định tuyến, có thể dùng ngôn ngữ của con người, với sự kiên nhẫn vô hạn, phù hợp với trình độ của họ để giải thích.」

Anh mô tả dạng sản phẩm “kỹ năng” (skill): một cách hướng dẫn thể AI cách giảng dạy một điều gì đó. 「Có thể tôi thiết kế một kỹ năng cho microGPT, mô tả quá trình thể AI nên dẫn bạn qua — nếu bạn muốn hiểu thư viện mã này, cứ theo từng bước. Tôi có thể viết kịch bản cho khóa học, như một kỹ năng.」

Có một điều anh tự thừa nhận mang tính châm biếm: anh từng yêu cầu thể AI cố gắng viết ra microGPT — nói với nó hãy rút gọn mạng neural về dạng đơn giản nhất — nhưng thể AI không làm được.

「MicroGPT là điểm kết thúc của đam mê của tôi, là 200 dòng đó, tôi đã suy nghĩ rất lâu về nó, tôi đã mê đắm trong thời gian dài, đó chính là giải pháp — tin tôi đi, nó không thể đơn giản hơn nữa. Đây là giá trị cộng thêm của tôi, thể AI không thể nghĩ ra, nhưng nó hoàn toàn hiểu tại sao phải làm như vậy.」

Kết luận của anh là: 「Tôi đóng góp chỉ vài bit trong đó, còn tất cả những gì liên quan đến giáo dục sau này, đã không còn là lĩnh vực của tôi nữa. Có thể giáo dục sẽ thay đổi theo những cách này, bạn phải truyền tải vài bit mạnh mẽ nhất mà bạn cảm nhận — về khóa học, về cách giải thích tốt hơn, hoặc những thứ tương tự.」

Sarah Guo bổ sung: 「Những thứ thể AI không thể làm được, giờ là công việc của bạn; còn thể AI có thể làm, thì chúng sẽ làm tốt hơn bạn rất nhanh. Vì vậy, về chiến lược, bạn cần cân nhắc xem thực sự bạn dành thời gian ở đâu.」

Karpathy đồng ý, nhưng cũng thừa nhận cảm giác cạnh tranh khó xóa nhòa: 「Tôi vẫn nghĩ là tôi có thể giải thích tốt hơn thể AI một chút, nhưng tôi vẫn cảm thấy mô hình đang tiến bộ nhanh đến mức tôi cảm giác như đây là một trận chiến thất bại.」

Kết luận: Những gì có thể xác minh đã thuộc về máy móc, còn những gì không thể xác minh vẫn còn thuộc về con người

Căng thẳng chính trong cuộc đối thoại này luôn là một dạng “nghiện” kép: sự mê đắm với khả năng của công cụ, và nỗi lo về giới hạn không chắc chắn của khả năng đó.

Karpathy dùng từ “tâm thần AI” để mô tả trạng thái của mình, nhưng nghe kỹ, trạng thái này không khác gì những người từng trải qua các cuộc cách mạng năng suất thực sự trong lịch sử loài người — chỉ là tốc độ nhanh hơn, vòng lặp sâu hơn, và giới hạn hiện tại chưa ai thấy rõ.

Khung lý thuyết cuối cùng anh đưa ra, có lẽ là câu đáng nhớ nhất của cuộc phỏng vấn này:

Tất cả các lĩnh vực chưa thể xác minh, vẫn còn thuộc về con người; còn tất cả các lĩnh vực có thể xác minh, hoặc đã thuộc về máy móc, hoặc sẽ sớm thuộc về chúng.

Về vị trí của chính bạn trong đó — lời khuyên của anh là, hãy thành thật suy nghĩ rõ ràng.

Nguồn: No Priors Podcast | Người dẫn: Sarah Guo | Khách mời: Andrej Karpathy, Andrej Karpathy về Các thể tác nhân mã, AutoResearch, và Thời kỳ vòng lặp của AI

–hết–

Bài viết từ: Thời kỳ kỷ nguyên AI

Lưu ý rủi ro và điều khoản miễn trừ trách nhiệm

Thị trường có rủi ro, đầu tư cần thận trọng. Bài viết này không phải là lời khuyên đầu tư cá nhân, cũng chưa xem xét các mục tiêu, tình hình tài chính hoặc nhu cầu đặc biệt của từng người dùng. Người đọc cần tự cân nhắc xem các ý kiến, quan điểm hoặc kết luận trong bài phù hợp với hoàn cảnh của mình hay không. Đầu tư theo đó, chịu trách nhiệm về bản thân.