OpenRouterのレスポンスキャッシュ:同一リクエストは料金不要、遅延は秒からミリ秒に低減

robot
概要作成中
币界网消息,OpenRouter推出响应缓存(response caching)功能,开发者在请求头中加入x-openrouter-cache: true即可启用。
首次调用正常走供应商计费,之后完全相同的请求直接返回缓存结果,不产生token费用。
缓存命中后响应时间在80到300毫秒之间,查询平均4毫秒。
未缓存时,Gemini 2.5 Flash平均约1.3秒,Kimi K2.6约4.6秒,GPT-5.5约9.1秒。
该功能与供应商的prompt缓存不同,响应缓存完全跳过供应商,从OpenRouter边缘缓存直接返回完整响应。
文本、图片、音频、文档、工具调用均可缓存,覆盖四个端点。
缓存按API key隔离,TTL默认5分钟,可设为1秒到24小时。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし