Un document tagué avec "optimisation de conversations"

Lors de l’utilisation d’API de modèles de langage (LLM) comme OpenAI GPT-4, chaque appel API est soumis à une limite maximale de tokens (par exemple, 8192 ou 128k tokens). Les conversations longues dépassent facilement cette limite, surtout si l’on conserve l’historique pour assurer la continuité.