Ancien chercheur d'OpenAI publie un prototype Flipbook : sauter HTML, générer directement chaque pixel avec un modèle vidéo IA

ME News Actualités, le 23 avril (UTC+8), selon le monitoring de Dongcha Beating, l’ancien chercheur d’OpenAI Zain Shah et son équipe ont publié Flipbook, un prototype expérimental utilisant un modèle d’IA pour générer directement les pixels de l’écran, remplaçant les technologies web traditionnelles telles que HTML, CSS, etc. Chaque « page » que voit l’utilisateur est une image générée par IA, cliquer sur n’importe quelle zone de l’image génère une nouvelle image pour continuer à explorer, toute l’interface sans code HTML, sans liens fixes, sans boutons prédéfinis, même le texte est pixelisé dans l’image. La vidéo fonctionne sur le modèle de génération vidéo DiT (Diffusion Transformer) open source de la société israélienne Lightricks, nommé LTX Studio, optimisé pour transmettre en streaming en temps réel en 1080p 24fps via WebSocket à l’écran de l’utilisateur, avec un backend utilisant un GPU sans serveur de Modal Labs. Shah affirme que pour l’instant, la fonctionnalité de Flipbook est limitée, l’équipe se concentre sur une interprétation visuelle, mais cela montre une direction plus large : à mesure que le modèle devient plus précis et plus état, il pourra à l’avenir s’étendre à une interface utilisateur structurée, y compris pour des scénarios de programmation. Shah a travaillé chez OpenAI sur la recherche en IA et robotique, puis a été expert en technologie créative chez Samsung, et est également un alumni de YC S13. Les membres de l’équipe incluent aussi l’ancien ingénieur de Humane et Slack, Eddie Jiao, ainsi que l’ancien ingénieur d’Apple, Drew O’Carr. (Source : BlockBeats)