Atalho para acelerar a API do Claude: primeiro envie uma frase de prompt do sistema para que ela faça cache, quando a solicitação real chegar, pule a inicialização e vá direto para a geração.

AIMPACT mensagem, 15 de maio (UTC+8), dicas práticas para reduzir o tempo de geração do primeiro token em prompts longos de API: pré-aquecimento do cache de prompts. Envie o prompt do sistema antes do prompt do usuário. Claude irá gravá-lo no cache, mas pulará a geração de qualquer saída. Quando uma solicitação real do usuário chegar, ela atingirá diretamente o cache pré-aquecido. (Fonte: AiHot)