OpenRouter запуск кэширования ответов: одинаковые запросы — нулевая оплата, задержка снижена с секунд до миллисекунд

robot
Генерация тезисов в процессе
币界网消息,OpenRouter推出响应缓存(response caching)功能,开发者在请求头中加入x-openrouter-cache: true即可启用。
首次调用正常走供应商计费,之后完全相同的请求直接返回缓存结果,不产生token费用。
缓存命中后响应时间在80到300毫秒之间,查询平均4毫秒。
未缓存时,Gemini 2.5 Flash平均约1.3秒,Kimi K2.6约4.6秒,GPT-5.5约9.1秒。
该功能与供应商的prompt缓存不同,响应缓存完全跳过供应商,从OpenRouter边缘缓存直接返回完整响应。
文本、图片、音频、文档、工具调用均可缓存,覆盖四个端点。
缓存按API key隔离,TTL默认5分钟,可设为1秒到24小时。
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено