Gần đây tôi nhận thấy một công nghệ thực sự có thể ứng dụng trong lĩnh vực robot — diffusion policy đang dần thay đổi cách chơi trong tự động hóa công nghiệp. Đây không phải là thứ chỉ tồn tại trong các bài báo, mà đã được xác thực trong các tình huống thực tế.

Nói về các phương pháp học robot, nhiều khi quá lý tưởng hoặc chỉ phù hợp trong các kịch bản đặc thù. Nhưng diffusion policy thì khác. Phương pháp này do Đại học Columbia và Viện Nghiên cứu Toyota phát triển, dựa trên ý tưởng sử dụng mô hình khuếch tán trong sinh hình ảnh để biến việc học hành động của robot thành một quá trình loại bỏ nhiễu. Nghe có vẻ trừu tượng, nhưng hiệu quả thực tế rất rõ ràng — trong thử nghiệm 15 nhiệm vụ, so với các phương pháp truyền thống, hiệu suất trung bình tăng 46.9%, đây không còn là cải tiến cận biên nữa mà là một bước nhảy chất lượng.

Tôi nghĩ điểm mấu chốt nằm ở chỗ diffusion policy có thể xử lý những vấn đề "bẩn" mà robot gặp phải trong thực tế. Ví dụ, một hành động có thể có nhiều cách thực hiện, môi trường có thể bị che khuất, có nhiễu, thậm chí sự thực thi của robot cũng có thể dao động. Các phương pháp hồi quy truyền thống dễ bị mắc kẹt bởi những phức tạp này, nhưng diffusion policy qua nhiều vòng lặp tinh chỉnh chuỗi hành động, có thể tự nhiên xử lý các tình huống đa mô thức này.

Về mặt kỹ thuật, diffusion policy hoạt động bằng cách bắt đầu từ nhiễu hoàn toàn, rồi dựa trên đầu vào hình ảnh để dần tối ưu thành chuỗi hành động cụ thể. Đây không phải là ánh xạ đơn thuần từ quan sát sang hành động, mà còn dự đoán được 16 bước hành động trong tương lai, chỉ thực hiện 8 bước rồi lập kế hoạch lại, giúp đảm bảo mượt mà và phản ứng nhanh với thay đổi môi trường. Trên phần cứng thực tế (ví dụ, robot UR5 với camera RealSense), phương pháp này vẫn duy trì hiệu suất ổn định.

Đối với các doanh nghiệp sản xuất hoặc tự động hóa công nghiệp, điều này có ý nghĩa gì? Thứ nhất là rút ngắn chu kỳ triển khai. Chỉ cần 50-200 mẫu dữ liệu trình diễn để huấn luyện mô hình hiệu quả, thời gian suy luận cũng có thể kiểm soát dưới 0.1 giây (dùng NVIDIA 3080), rất phù hợp cho các nhiệm vụ cần phản hồi thời gian thực. Thứ hai là nâng cao độ tin cậy — trong các nhiệm vụ thị giác của Robomimic, diffusion policy đạt tỷ lệ thành công từ 90-100%, trong khi các phương pháp cũ chỉ đạt 50-70%. Điều này trực tiếp dẫn đến giảm phế phẩm và tăng năng suất dây chuyền.

Các ví dụ thực tế cũng rất thuyết phục. Trong nhiệm vụ xếp khối hình T, diffusion policy có thể xử lý vật thể che khuất và nhiễu vật lý; trong việc pha cà phê, các thao tác đòi hỏi kiểm soát chính xác cũng có thể thực hiện ổn định. Đây đều là những điểm dễ gây lỗi cho các phương pháp truyền thống.

Tất nhiên, phương pháp này cũng không hoàn hảo. Thời gian suy luận đòi hỏi nhiều tính toán hơn, dù dùng DDIM để tăng tốc có thể giảm từ 100 bước xuống còn 10, nhưng yêu cầu phần cứng vẫn không nhỏ. Tuy nhiên, xét về tỷ lệ lợi nhuận đầu tư, việc đầu tư phần cứng ban đầu sẽ mang lại độ tin cậy và khả năng mở rộng lâu dài, điều này vẫn rất hợp lý đối với phần lớn doanh nghiệp.

Tôi cũng thấy xuất hiện các giải pháp thay thế nhẹ hơn, như Action Lookup Table tuyên bố dùng ít tính toán hơn nhưng chủ yếu dựa trên ghi nhớ và tra bảng, thiếu tính linh hoạt của diffusion policy trong sinh dữ liệu. Ngoài ra, còn có 3D Diffusion Policy cố gắng dùng thị giác 3D để nâng cao khả năng suy luận không gian. Những hướng này rất thú vị, nhưng dựa trên các thử nghiệm tiêu chuẩn, diffusion policy vẫn là lựa chọn ổn định và phổ biến nhất hiện nay.

Nhìn về phía trước, tốc độ phát triển của lĩnh vực này rất nhanh. Kết hợp với học tăng cường, mở rộng ra nhiều độ tự do hơn hoặc tích hợp với các mô hình lớn, tỷ lệ thành công có thể tiến gần đến 99%. Các công cụ thương mại hóa có thể xuất hiện vào khoảng năm 2027, khi đó các doanh nghiệp vừa và nhỏ cũng có thể tiếp cận các giải pháp học robot cấp cao này. Việc tối ưu phần cứng cũng đang diễn ra, độ trễ có thể tiếp tục giảm.

Tổng thể, diffusion policy đại diện cho một bước chuyển mình quan trọng từ lý thuyết sang thực tiễn trong học robot. Nếu bạn đang làm trong lĩnh vực này, việc chưa xem xét áp dụng phương pháp này có thể sẽ bị bỏ lại phía sau. Mã nguồn và các ví dụ đã được mở trên GitHub, những ai quan tâm có thể bắt đầu thử nghiệm ngay.