Ancien chercheur d'OpenAI publie un prototype de flipbook : génération directe de pixels à l'aide de modèles vidéo IA

Selon la surveillance de Beating, l’ancien chercheur d’OpenAI Zain Shah et son équipe ont publié Flipbook, un prototype expérimental qui génère directement les pixels de l’écran à l’aide de modèles d’IA, remplaçant les technologies web traditionnelles comme HTML et CSS. Chaque « page » visualisée par les utilisateurs est une image générée par l’IA, et cliquer sur n’importe quelle zone de l’image génère une nouvelle image pour une exploration plus approfondie. Toute l’interface est dépourvue de code HTML, de liens fixes et de boutons prédéfinis, avec même le texte représenté sous forme de pixels dans l’image. Le mode vidéo est basé sur le modèle open-source de génération vidéo DiT (Diffusion Transformer) LTX Studio de la société israélienne Lightricks, optimisé pour diffuser en 1080p à 24fps sur les écrans des utilisateurs via WebSocket, avec un backend alimenté par le GPU sans serveur de Modal Labs. Shah a mentionné que la fonctionnalité actuelle de Flipbook est limitée, et que l’équipe conçoit autour d’explications visuelles, mais cela montre une direction plus large : à mesure que les modèles deviennent plus précis et étatful, ils pourraient s’étendre à des interfaces utilisateur structurées, y compris dans des scénarios de programmation. Shah a précédemment travaillé sur la recherche en IA et robotique chez OpenAI, a ensuite été expert en technologie créative chez Samsung, et est également un ancien de YC S13. Les membres de l’équipe incluent d’anciens ingénieurs de Humane et Slack, Eddie Jiao, et l’ancien ingénieur d’Apple Drew O’Carr.