Заметил интересное обновление от OpenAI — они добавили поддержку WebSocket в API ответов, и это выглядит довольно серьезным улучшением для разработчиков.

Суть в том, что WebSocket позволяет устанавливать постоянные соединения вместо традиционных HTTP запросов. Это особенно полезно, когда нужно работать с частыми вызовами инструментов — система ускоряется примерно на 40% для длинных цепочек с более чем 20 вызовами. Согласитесь, это неплохой прирост производительности.

Технически WebSocket поддерживает инкрементальный ввод данных и совместим с Zero Data Retention (ZDR), что важно для низкой задержки при переподключении контекста. То есть разработчики получают не просто скорость, но и гибкость в управлении данными.

Есть, правда, ограничение — каждое соединение ограничено 60 минутами. Но для большинства рабочих процессов этого достаточно. Похоже, OpenAI серьезно работает над оптимизацией своего API, и это точно облегчит жизнь тем, кто работает со сложными автоматизациями и многошаговыми задачами.

Если вы разработчик и работаете с OpenAI API, стоит посмотреть в документацию — WebSocket может заметно улучшить производительность ваших приложений.