Aller au contenu principal

Décompte de jetons dans l’IA

Comprendre le décompte de jetons d’un modèle d’IA​

Lorsque vous lisez qu’un modèle d’IA a « 1049k jetons en entrée et 33k en sortie », cela signifie :

1. Jetons d’entrée (1049k)​

  • Définition : Les « jetons d’entrée » désignent les éléments individuels de texte (tels que des mots ou des morceaux de mots) qui sont fournis au modèle d’IA.
  • Valeur : « 1049k » signifie 1 049 000 jetons.
    • À titre de référence, en anglais, un jeton correspond généralement à environ 4 caractères ou 0,75 mot, donc 1 049 000 jetons peuvent constituer un texte ou un jeu de données très volumineux.

2. Jetons de sortie (33k)​

  • Définition : Les « jetons de sortie » sont le nombre de jetons générés par le modèle d’IA comme réponse ou résultat.
  • Valeur : « 33k » signifie 33 000 jetons.
    • Cela peut représenter un long passage, plusieurs paragraphes, ou même une sortie structurée selon la tâche.

3. Pourquoi utiliser des jetons ?​

  • La tokenisation est une méthode qui permet aux modèles d’IA de traiter le texte efficacement.
  • Les jetons standardisent le traitement des textes, car différentes langues et écritures se découpent en jetons de manière différente.

4. Capacités du modèle​

  • De nombreux modèles d’IA (comme GPT-4, Gemini, Claude, etc.) ont des limites sur le nombre total de jetons (entrée + sortie) qu’ils peuvent traiter en une fois.
  • Une entrée avec un nombre de jetons extrêmement élevé (comme 1049k) signifie que le modèle analyse une énorme quantité de texte en une seule fois—beaucoup plus que les modèles typiques, qui plafonnent généralement à quelques milliers de jetons.

5. Exemple pratique​

  • Si vous importez un gros livre (entrée) et demandez un résumé (sortie), la grande entrée en jetons correspond au contenu du livre ; les jetons de sortie correspondent à la taille du résumé généré.

Tableau récapitulatif​

TermeValeurSignification
Jetons d’entrée1049kJetons fournis au modèle (le contexte)
Jetons de sortie33kJetons générés par le modèle (la réponse)

En résumé :
« 1049k jetons en entrée et 33k en sortie » signifie que le modèle d’IA reçoit 1 049 000 jetons d’informations et génère 33 000 jetons en réponse. Cela illustre les capacités de traitement et de génération du modèle.