Truque pequeno do mecanismo de cache do Claude, enviar primeiro uma mensagem de sistema como espaço reservado, as solicitações subsequentes aceleram diretamente, quase sem custo

AIMPACT mensagem, 15 de maio (UTC+8), dicas práticas para reduzir o tempo de geração do primeiro token em prompts longos de API: pré-aquecimento do cache de prompts. Envie o prompt do sistema antes do prompt do usuário. Claude irá gravá-lo no cache, mas pulará a geração de qualquer saída. Quando uma solicitação real do usuário chegar, ela atingirá diretamente o cache pré-aquecido. (Fonte: AiHot)