Optimizador de Estructura de Caching de Prompts de LLMPRO
Estructure los contextos de prompt complejos en zonas de caché estática y mutación dinámica para maximizar las coincidencias de caché.
CACHE TARGET
MUTATION CONTEXT
0
Static Tokens
0
Dynamic Tokens
0%
Est. Savings
Input Transaction Cost Analysis
Standard Input Cost (No Caching)$0.00000
Optimized Architecture Cost$0.00000
manifest-payload-compiled.json
[
{
"role": "system",
"content": [
{
"type": "text",
"text": "",
"cache_control": {
"type": "ephemeral"
}
}
]
},
{
"role": "user",
"content": ""
}
]Instrucciones
- 1
Elija su proveedor de modelo de destino (Anthropic o OpenAI).
- 2
Pegue las instrucciones del sistema y esquemas invariantes en la zona Estática.
- 3
Ingrese sus consultas de usuario o variables en la zona Dinámica.
- 4
Inspeccione el uso de tokens, análisis de costos y descargue la estructura JSON compilada.
Preguntas Frecuentes
Al separar las instrucciones estáticas (que no cambian con frecuencia) de las consultas dinámicas, los proveedores de LLM pueden almacenar en caché la parte estática, reduciendo los costos y la latencia de la API.
Anthropic Claude requiere un mínimo de 1.024 tokens en el bloque almacenado en caché para activar los beneficios de caching. Aparecerá una advertencia si está por debajo de este límite.