動態監測 Beating による監視、前 OpenAI 研究員 Zain Shah とチームは Flipbook を発表しました。これは AI モデルを直接使用して画面のピクセルを生成する実験的なプロトタイプであり、HTML、CSS などの従来のウェブ技術に取って代わります。ユーザーが見る各「ページ」は AI 生成の画像であり、画像の任意の部分をクリックすると新しい画像が生成され、さらに深く進むことができます。全体のインターフェースには HTML コードも固定リンクもなく、事前定義されたボタンもありません。文字も画像のピクセルとして表現されています。
前OpenAI研究員がFlipbookのプロトタイプを公開：HTMLをスキップし、AIビデオモデルで各ピクセルを直接生成
動態監測 Beating による監視、前 OpenAI 研究員 Zain Shah とチームは Flipbook を発表しました。これは AI モデルを直接使用して画面のピクセルを生成する実験的なプロトタイプであり、HTML、CSS などの従来のウェブ技術に取って代わります。ユーザーが見る各「ページ」は AI 生成の画像であり、画像の任意の部分をクリックすると新しい画像が生成され、さらに深く進むことができます。全体のインターフェースには HTML コードも固定リンクもなく、事前定義されたボタンもありません。文字も画像のピクセルとして表現されています。
動画モードは、イスラエル企業 Lightricks のオープンソース DiT（拡散 Transformer）動画生成モデル LTX Studio に基づいており、最適化により 1080p 24fps で WebSocket を通じてリアルタイムにストリーミングされ、ユーザースクリーンに送信されます。バックエンドは Modal Labs のサーバーレス GPU を使用しています。Shah は現在の Flipbook 機能は限定的であり、チームは視覚的な解釈を中心に設計していると述べていますが、より大きな方向性も示しています。モデルがより正確で状態を持つようになれば、将来的には構造化された UI へと拡張可能であり、プログラミングのシナリオも含まれるとしています。
Shah は以前、OpenAI で AI とロボット研究に従事し、その後 Samsung のクリエイティブテクノロジーエキスパートを務め、また YC S13 の卒業生でもあります。チームメンバーには、元 Humane および Slack のエンジニア Eddie Jiao、元 Apple のエンジニア Drew O’Carr も含まれています。