Команда ByteDance действительно что-то умеет в создании GUI-агентов, шаг с открытым исходным кодом OpenGUI был довольно умным — сначала проложить инфраструктуру.

Сообщение от Coinjie: платформа выполнения интеллектуальных агентов графического интерфейса пользователя (GUI Agent) компании ByteDance Core-Mate недавно завершила раунд финансирования на сумму десятков миллионов юаней, в котором участвовала исключительно компания Dunhong Assets, руководил партнер Dunhong Assets Ю Вэньчао. Средства будут направлены на обновление базовых технологий, итерацию уникальных визуальных восприятий UI на мобильных устройствах и расширение пользовательской базы. Core-Mate использует многорежимный подход к пониманию интерфейса, объединяя визуальные данные, дерево DOM-узлов, уровни элементов управления, разделение областей и динамические изменения состояния страницы для построения более стабильных возможностей распознавания смыслов экрана. Базовая рамочная система восприятия экрана OpenGUI уже открыта для разработчиков и предоставляет инфраструктуру для выполнения задач, записи процессов и автоматизированного контроля качества. Основная команда основана в ByteDance, команда считает, что ключ к коммерческому применению ИИ заключается в интеграции в реальные бизнес-среды и стабильном выполнении сложных долгосрочных операций для пользователей.