Vừa nghe xong podcast của Y Combinator với Demis Hassabis, và thành thật mà nói, một số quan điểm của anh ấy về AGI và những gì còn thiếu trong các mô hình hiện tại thực sự gây ấn tượng. Người này đã suy nghĩ về vấn đề này lâu hơn hầu hết mọi người, và điều điên rồ là quan điểm của anh ấy rất thực tế—không phải là phóng đại, chỉ là đánh giá thực dụng.

Vì vậy, đây là điều khiến tôi ấn tượng: chúng ta đã có hầu hết các thành phần rồi. Tiền huấn luyện quy mô lớn, RLHF, suy luận chuỗi ý tưởng—đây gần như chắc chắn sẽ là phần của kiến trúc AGI cuối cùng. Nhưng còn một hoặc hai khoảng trống quan trọng nữa. Học liên tục, suy luận dài hạn, hệ thống bộ nhớ không chỉ nhồi nhét mọi thứ vào các cửa sổ ngữ cảnh như chúng ta đang dùng băng dính. Quan điểm của anh ấy? Khoảng 2030 cho AGI, và thành thật mà nói, điều đó thay đổi cách bạn nên nghĩ về việc xây dựng mọi thứ ngày nay.

Điều thực sự khiến tôi chú ý là quan sát của anh ấy về trạng thái hiện tại của khả năng suy luận. Các mô hình có thể giải quyết các vấn đề vàng của IMO nhưng lại thất bại trong toán học sơ đẳng tùy thuộc vào cách bạn diễn đạt. Có vấn đề về trí tuệ gợn sóng—hệ thống thiếu thứ gì đó trong khả năng tự kiểm tra về quá trình suy nghĩ của chính nó. Giống như xem Gemini chơi cờ, nhận ra nước đi đó không tốt, nhưng rồi vẫn làm vì không thể lý luận để chọn lựa tốt hơn. Điều này không nên xảy ra trong một hệ thống suy luận chính xác.

Về các tác nhân, anh ấy rõ ràng: chúng ta mới bắt đầu. Mọi người đang hưng phấn về các tác nhân, nhưng công việc thực sự là làm cho chúng trở nên hữu ích thực sự, không chỉ là trình diễn. Anh ấy đề cập điều gì đó thú vị—chưa ai tạo ra một trò chơi AAA hàng đầu sử dụng AI lập trình. Với các công cụ hiện tại, về lý thuyết là khả thi, nhưng vẫn còn điều gì đó thiếu trong quá trình hoặc chính các công cụ. Anh ấy dự đoán sẽ thấy sự chuyển đổi đó trong vòng 6-12 tháng tới.

Khía cạnh tinh chế cũng rất hấp dẫn. Giả thuyết của họ là trong vòng 6-12 tháng sau khi ra mắt một mô hình tiên tiến, họ có thể nén khả năng của nó thành thứ chạy được trên các thiết bị edge. Các mô hình nhanh chóng đạt 95% hiệu suất của các mô hình tiên phong với một phần mười chi phí. Và điều quan trọng là—chưa đạt đến giới hạn lý thuyết về mật độ thông tin. Điều đó rất lớn đối với khả năng của các mô hình nhỏ hơn.

Về mặt đột phá khoa học, anh ấy nói về thứ anh gọi là "bài kiểm tra của Einstein." Bạn có thể huấn luyện một hệ thống dựa trên kiến thức đến năm 1901 và để nó tự suy ra thuyết tương đối đặc biệt không? Khi điều đó thành công, các hệ thống này gần như đã đạt đến mức sáng chế thực sự, không chỉ là nhận dạng mẫu. AlphaFold là nguyên mẫu—giờ đây đã trở thành tiêu chuẩn trong phát hiện thuốc. Nhưng chúng ta vẫn còn trong giai đoạn sơ khai của hầu hết các lĩnh vực.

Lời khuyên dành cho các nhà sáng lập tại Y Combinator rất sắc nét: theo đuổi những vấn đề chỉ bạn mới có thể giải quyết. Nếu bạn bắt đầu một dự án công nghệ sâu ngày nay, bạn cần tính đến AGI trong kế hoạch của mình. Một dự án kéo dài mười năm có thể đạt đến AGI giữa chừng. Đừng xây thứ gì đó trở nên lỗi thời; hãy xây thứ gì đó vẫn còn giá trị trong thế giới có AGI. Nghĩ về cách các hệ thống chuyên biệt như AlphaFold sẽ tích hợp với các mô hình đa năng như công cụ, chứ không phải mọi thứ đều nhồi nhét vào một mô hình khổng lồ.

Một điều cuối cùng gây ấn tượng với tôi—anh ấy nói về việc công việc liên ngành sẽ trở nên dễ dàng hơn với AI, và chúng ta cần dừng suy nghĩ về mọi thứ như một bộ não thống nhất. Các công cụ chuyên biệt sẽ cùng tồn tại với các hệ thống chung. Đó có lẽ là khung tư duy đáng để bạn cân nhắc nếu đang xây dựng bất cứ thứ gì ngày nay.