J'ai remarqué une mise à jour intéressante d'OpenAI — ils ont ajouté la prise en charge de WebSocket dans l'API de réponses, ce qui semble être une amélioration assez sérieuse pour les développeurs.

L'essentiel est que WebSocket permet d'établir des connexions permanentes au lieu des requêtes HTTP traditionnelles. Cela est particulièrement utile lorsque vous devez travailler avec des appels fréquents aux outils — le système s'accélère d'environ 40 % pour les longues chaînes avec plus de 20 appels. Convenez que c'est une amélioration de performance non négligeable.

Techniquement, WebSocket supporte l'entrée de données incrémentielle et est compatible avec Zero Data Retention (ZDR), ce qui est important pour une faible latence lors de la reconnexion du contexte. Autrement dit, les développeurs obtiennent non seulement de la rapidité, mais aussi une flexibilité dans la gestion des données.

Il y a cependant une limitation — chaque connexion est limitée à 60 minutes. Mais pour la plupart des flux de travail, cela suffit. Il semble qu'OpenAI travaille sérieusement à l'optimisation de son API, et cela facilitera certainement la vie de ceux qui travaillent avec des automatisations complexes et des tâches multi-étapes.

Si vous êtes développeur et que vous utilisez l'API d'OpenAI, il vaut la peine de consulter la documentation — WebSocket peut considérablement améliorer la performance de vos applications.