Exinvestigador de OpenAI lanza prototipo de Flipbook: generación directa de píxeles usando modelos de video con IA

Según la monitorización de Beating, el ex investigador de OpenAI Zain Shah y su equipo han lanzado Flipbook, un prototipo experimental que genera directamente píxeles en pantalla usando modelos de IA, reemplazando tecnologías web tradicionales como HTML y CSS. Cada ‘página’ vista por los usuarios es una imagen generada por IA, y hacer clic en cualquier área de la imagen genera una nueva imagen para una exploración adicional. Toda la interfaz está libre de código HTML, enlaces fijos y botones predefinidos, incluso el texto está representado como píxeles en la imagen. El modo de video se basa en el modelo de generación de video DiT (Diffusion Transformer) de código abierto, LTX Studio, de la compañía israelí Lightricks, optimizado para transmitir en 1080p a 24fps a las pantallas de los usuarios mediante WebSocket, con un backend impulsado por el servidor sin servidor de Modal Labs con GPU. Shah mencionó que la funcionalidad actual de Flipbook es limitada, y que el equipo está diseñando en torno a explicaciones visuales, pero muestra una dirección más amplia: a medida que los modelos se vuelven más precisos y con estado, podría expandirse a interfaces estructuradas, incluyendo escenarios de programación. Shah trabajó anteriormente en investigación de IA y robótica en OpenAI, luego fue experto en tecnología creativa en Samsung, y también es exalumno de YC S13. Los miembros del equipo incluyen exingenieros de Humane y Slack, Eddie Jiao, y exingeniero de Apple, Drew O’Carr.