Résultat d'exemple — cliquez sur Lancer pour générer le vôtre.
Le prompt caching amortit le coût d'un long system prompt en réutilisant le travail du modèle sur le préfixe partagé entre requêtes — tu paies le prix d'entrée plein une fois, puis une fraction pour chaque appel suivant. Le préfixe doit correspondre octet pour octet, donc les espaces, l'ordre et les variables dynamiques doivent rester après le bloc caché. Les fournisseurs gardent généralement le cache chaud environ cinq minutes, ce qui convient au trafic en rafale mais force un recalcul à chaque requête pour les charges peu fréquentes.