El pequeño truco del mecanismo de caché de Claude, enviar primero una indicación del sistema como marcador de posición, y las solicitudes posteriores se aceleran directamente, casi sin costo

AIMPACT mensaje, 15 de mayo (UTC+8), consejo práctico para reducir el tiempo de generación del primer token en llamadas API largas: precalentar la caché de indicaciones. Enviar la indicación del sistema antes de la indicación del usuario. Claude la almacenará en caché, pero omitirá generar cualquier salida. Cuando llegue una solicitud de usuario real, se accederá directamente a la caché precalentada. (Fuente: AiHot)