Колишній дослідник OpenAI опублікував прототип Flipbook: пропускаючи HTML, безпосередньо за допомогою моделі відео AI генерує кожен піксель

Згідно з моніторингом Beating, колишній дослідник OpenAI Zain Shah та його команда випустили Flipbook, експериментальний прототип, який використовує модель штучного інтелекту для безпосереднього генерування пікселів екрана, замінюючи традиційні веб-технології, такі як HTML та CSS. Кожна «сторінка», яку бачить користувач, є зображенням, згенерованим штучним інтелектом, натискання будь-якої області зображення створює нове зображення для подальшого дослідження, весь інтерфейс не містить HTML-коду, постійних посилань або попередньо визначених кнопок, а текст також є пікселями на зображенні.

Режим відео базується на відкритій моделі для генерації відео DiT (Diffusion Transformer) компанії Lightricks з Ізраїлю, названій LTX Studio, яка після оптимізації може передавати у реальному часі через WebSocket у роздільній здатності 1080p та 24 кадри на секунду на екран користувача, а бекенд використовує безсерверний GPU від Modal Labs. Shah зазначив, що наразі функціональність Flipbook обмежена, команда орієнтується на візуальні інтерпретації, але це демонструє більш широкий напрямок: з покращенням точності та стану моделей у майбутньому можна буде розширити до структурованого інтерфейсу користувача, включаючи сценарії програмування.

Shah раніше займався дослідженнями штучного інтелекту та робототехніки в OpenAI, потім був технічним експертом у Samsung Creative, а також є випускником YC S13. До команди входять також колишні інженери Humane та Slack Едді Джіао, колишній інженер Apple Drew O’Carr.