Optimiseur de Structure de Caching de Prompts LLMPRO
Structurez les contextes de prompts complexes en zones de cache statique et de mutation dynamique pour maximiser les hits de cache.
CACHE TARGET
MUTATION CONTEXT
0
Static Tokens
0
Dynamic Tokens
0%
Est. Savings
Input Transaction Cost Analysis
Standard Input Cost (No Caching)$0.00000
Optimized Architecture Cost$0.00000
manifest-payload-compiled.json
[
{
"role": "system",
"content": [
{
"type": "text",
"text": "",
"cache_control": {
"type": "ephemeral"
}
}
]
},
{
"role": "user",
"content": ""
}
]Instructions
- 1
Choisissez votre fournisseur de modèle cible (Anthropic ou OpenAI).
- 2
Collez vos instructions système et vos schémas invariants dans la zone Statique.
- 3
Saisissez vos requêtes utilisateur ou variables dynamiques dans la zone Dynamique.
- 4
Inspectez l'utilisation des tokens, l'analyse des coûts et téléchargez la structure JSON compilée.
Questions Fréquemment Posées
En séparant les instructions statiques (qui ne changent pas fréquemment) des requêtes dynamiques, les fournisseurs de LLM peuvent mettre en cache la partie statique, réduisant ainsi les coûts et la latence de l'API.
Anthropic Claude nécessite un minimum de 1 024 tokens dans le bloc mis en cache pour activer les avantages du caching. Un avertissement s'affiche si vous êtes en dessous.