Cựu nhà nghiên cứu của OpenAI phát hành nguyên mẫu Flipbook: Tạo pixel trực tiếp bằng mô hình video AI

Theo giám sát của Beating, cựu nhà nghiên cứu OpenAI Zain Shah và nhóm của ông đã phát hành Flipbook, một nguyên mẫu thử nghiệm tạo ra trực tiếp các pixel màn hình bằng mô hình AI, thay thế các công nghệ web truyền thống như HTML và CSS. Mỗi ‘trang’ mà người dùng xem là một hình ảnh do AI tạo ra, và nhấp vào bất kỳ khu vực nào của hình ảnh sẽ tạo ra một hình ảnh mới để khám phá thêm. Toàn bộ giao diện không có mã HTML, liên kết cố định, hoặc nút đã định sẵn, thậm chí văn bản cũng được biểu diễn dưới dạng pixel trong hình ảnh. Chế độ video dựa trên mô hình tạo video Diffusion Transformer mã nguồn mở LTX Studio của công ty Israel Lightricks, được tối ưu để phát trực tuyến ở độ phân giải 1080p với 24fps tới màn hình người dùng qua WebSocket, với backend được cung cấp bởi máy chủ không có trạng thái của Modal Labs. Shah đề cập rằng chức năng hiện tại của Flipbook còn hạn chế, và nhóm đang thiết kế xoay quanh các giải thích trực quan, nhưng nó thể hiện một hướng đi lớn hơn: khi các mô hình trở nên chính xác và có trạng thái hơn, nó có thể mở rộng thành các giao diện người dùng có cấu trúc, bao gồm cả các kịch bản lập trình. Shah trước đây đã làm việc về nghiên cứu AI và robot tại OpenAI, sau đó làm chuyên gia công nghệ sáng tạo tại Samsung, và cũng là cựu sinh viên của YC S13. Các thành viên trong nhóm bao gồm các kỹ sư cựu của Humane và Slack, Eddie Jiao, và kỹ sư cựu của Apple Drew O’Carr.