He notado una actualización interesante de OpenAI: han añadido soporte para WebSocket en las respuestas de la API, y esto parece una mejora bastante significativa para los desarrolladores.

La idea es que WebSocket permite establecer conexiones permanentes en lugar de las solicitudes HTTP tradicionales. Esto es especialmente útil cuando se trabaja con llamadas frecuentes a las herramientas — el sistema se acelera aproximadamente un 40% en cadenas largas con más de 20 llamadas. Acepte, esto es un buen aumento en el rendimiento.

Técnicamente, WebSocket soporta entrada de datos incremental y es compatible con Zero Data Retention (ZDR), lo cual es importante para baja latencia al reconectar el contexto. Es decir, los desarrolladores no solo obtienen velocidad, sino también flexibilidad en la gestión de datos.

Hay, eso sí, una limitación: cada conexión está limitada a 60 minutos. Pero para la mayoría de los flujos de trabajo, esto es suficiente. Parece que OpenAI está trabajando en serio en la optimización de su API, y esto sin duda facilitará la vida a quienes trabajan con automatizaciones complejas y tareas de múltiples pasos.

Si eres desarrollador y trabajas con la API de OpenAI, vale la pena revisar la documentación: WebSocket puede mejorar notablemente el rendimiento de tus aplicaciones.