Um truque na mecânica de cache do Claude, envie primeiro uma mensagem de sistema como placeholder, e as solicitações subsequentes são aceleradas, quase sem custo

AIMPACT mensagem, 15 de maio (UTC+8), dica prática para reduzir o tempo de geração do primeiro token de prompts longos na API: pré-aquecimento do cache de prompts. Envie o prompt do sistema antes do prompt do usuário. Claude irá gravá-lo no cache, mas pulará a geração de qualquer saída. Quando uma solicitação real do usuário chegar, ela atingirá diretamente o cache pré-aquecido. (Fonte: AiHot)