Звернув увагу на цікаве оновлення від OpenAI — вони додали підтримку WebSocket у відповіді API, і це виглядає досить серйозним покращенням для розробників.



Суть у тому, що WebSocket дозволяє встановлювати постійні з'єднання замість традиційних HTTP-запитів. Це особливо корисно, коли потрібно працювати з частими викликами інструментів — система прискорюється приблизно на 40% для довгих ланцюжків з більш ніж 20 викликами. Погодьтеся, це непоганий приріст продуктивності.

Технічно WebSocket підтримує інкрементальний ввід даних і сумісний із Zero Data Retention (ZDR), що важливо для низької затримки при повторному підключенні контексту. Тобто розробники отримують не просто швидкість, а й гнучкість у керуванні даними.

Є, правда, обмеження — кожне з'єднання обмежене 60 хвилинами. Але для більшості робочих процесів цього достатньо. Здається, OpenAI серйозно працює над оптимізацією свого API, і це точно полегшить життя тим, хто працює із складними автоматизаціями та багатоступеневими задачами.

Якщо ви розробник і працюєте з OpenAI API, варто подивитися в документацію — WebSocket може помітно покращити продуктивність ваших додатків.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити