Testado na prática, o pré-aquecimento melhora significativamente o desempenho em cenários de diálogos curtos de alta frequência

AIMPACT mensagem, 15 de maio (UTC+8), dicas práticas para reduzir o tempo de geração do primeiro token de prompts longos na API: pré-aquecimento do cache de prompts. Envie o prompt do sistema antes do prompt do usuário. Claude irá gravá-lo no cache, mas pulará a geração de qualquer saída. Quando uma solicitação real do usuário chegar, ela será atendida diretamente pelo cache pré-aquecido. (Fonte: AiHot)