Бывший исследователь OpenAI выпустил прототип Flipbook: пропуская HTML, напрямую генерируя каждый пиксель с помощью модели видео ИИ

По данным мониторинга Beating, бывший исследователь OpenAI Zain Shah и его команда выпустили Flipbook — экспериментальный прототип, который использует модель ИИ для непосредственного генерации пикселей на экране, заменяя традиционные веб-технологии, такие как HTML и CSS. Каждый «страница», которую видит пользователь, — это изображение, созданное ИИ, при нажатии на любую область изображения генерируется новое изображение для дальнейшего взаимодействия, весь интерфейс не содержит HTML-кода, фиксированных ссылок или предопределённых кнопок, а текст также представлен в виде пикселей на изображении.

Видео-режим основан на открытой модели для генерации видео DiT (Diffusion Transformer) компании Lightricks из Израиля, названной LTX Studio, которая после оптимизации может передавать поток в реальном времени в разрешении 1080p и 24 кадра в секунду через WebSocket на экран пользователя, а бэкенд использует безсерверный GPU от Modal Labs. Shah заявил, что в настоящее время функции Flipbook ограничены, команда ориентирована на визуальные объяснения, но демонстрирует более широкое направление: по мере повышения точности и состояния модели, в будущем это может расшириться до структурированного пользовательского интерфейса, включая сценарии программирования.

Shah ранее занимался исследованиями ИИ и робототехники в OpenAI, затем работал техническим специалистом по креативным технологиям в Samsung, а также является выпускником YC S13. В команду входят также бывшие инженеры Humane и Slack Eddie Jiao, а также бывший инженер Apple Drew O’Carr.