Température des modèles de langage : ajuster la créativité et la fiabilité
Le principe du paramètre de température
Lors de la génération de texte, les modèles de langage produisent pour chaque token un ensemble de scores appelés logits. Ces scores sont transformés en probabilités via une fonction softmax. Le paramètre de température intervient dans cette transformation : il divise ou multiplie les logits avant l’application de la fonction, contrôlant ainsi la forme de la distribution. Mathématiquement, si (z_i) est le logit pour le token i, la probabilité devient proportionnelle à exp(z_i / T), où T est la température. Une température basse (< 0,5) accentue les écarts : les tokens les plus probables dominent, rendant la sortie plus déterministe. Une température élevée (> 1) aplatit la distribution, autorisant davantage de variété et de créativité.
Impact de la température sur les sorties
Les choix de température influencent fortement la personnalité du modèle :
- Température très basse (0 – 0,3): le modèle sélectionne presque toujours le token le plus probable. Cette option est idéale pour des tâches nécessitant de la précision ou des réponses factuelles (traductions techniques, résumés fidèles, résolution de problèmes). Elle réduit les risques d’hallucination mais peut rendre la réponse monotone.
- Température modérée (0,4 – 0,7): un équilibre entre cohérence et diversité. Utile pour générer des textes informatifs tout en conservant un peu de souplesse stylistique. Cela convient aux dialogues classiques et aux explications pédagogiques.
- Température élevée (0,8 – 1,2): les sorties deviennent plus créatives, surprenantes et parfois décalées. Ce paramètre est employé pour le brainstorming, la création littéraire ou la génération d’idées originales. En revanche, il augmente la probabilité d’erreurs ou de contradictions.
- Température très haute (1,3 et au‑delà): la distribution est presque uniforme. Les réponses peuvent devenir incohérentes, voire absurdes. À utiliser pour expérimenter des voix singulières ou des contenus artistiques.
Le tableau suivant récapitule des recommandations selon le type de tâche :
| Type de tâche |
Objectif principal |
Température conseillée |
| Traduction technique |
Fidélité et précision |
0,1 – 0,3 |
| Résumé d’article |
Clarté et concision |
0,2 – 0,5 |
| Réponse à une question factuelle |
Exactitude et cohérence |
0 – 0,2 |
| Dialogue conversationnel |
Naturel et léger |
0,4 – 0,7 |
| Brainstorming créatif |
Variété et originalité |
0,7 – 1,1 |
| Écriture littéraire ou poétique |
Inventivité et style |
0,8 – 1,5 |
Température et autres paramètres
La température ne fonctionne pas seule. Elle agit en combinaison avec d’autres paramètres de décodage :
- Top‑k sampling: limite la génération aux k tokens les plus probables à chaque étape. Réduit le risque de sélectionner un token de faible probabilité lorsque la température est élevée.
- Nucleus sampling (top‑p): choisit dynamiquement le plus petit ensemble de tokens dont la somme des probabilités dépasse un seuil p (souvent 0,8 ou 0,9). Permet un compromis entre variété et qualité.
- Fréquence et pénalité de présence: pénalise les tokens déjà apparus pour encourager la diversité et éviter les répétitions.
- Longueur maximale et minimale: guide la durée des réponses pour qu’elles restent dans une fourchette prévue.
Conseils pour bien régler la température
- Adaptez‑la au contexte: un service client automatisé privilégiera une faible température afin de fournir des réponses fiables. À l’inverse, un générateur d’idées nouvelles peut fonctionner avec des températures plus élevées.
- Combinez avec top‑p ou top‑k: pour éviter les surprises désagréables, il est recommandé de coupler une température modérée avec un nucleus sampling. Cela supprime les tokens aux extrêmes tout en conservant une certaine créativité.
- Testez et itérez: la perception de créativité varie selon la langue et le domaine. Testez plusieurs réglages sur un même texte pour comparer les nuances et ajuster selon vos besoins.
- Surveillez les hallucinations: une température trop haute augmente la probabilité que le modèle produise des informations incorrectes ou hors sujet. Dans des contextes sensibles (santé, finance), fixez des bornes strictes et prévoyez une validation humaine ou un contrôle de cohérence.
Conclusion
La température est un paramètre simple mais puissant pour modeler le comportement d’un LLM. En jouant sur ce curseur, on peut passer d’une génération parfaitement prévisible à une création exubérante. Bien utilisée, elle permet d’équilibrer créativité et fiabilité, répondant ainsi à des besoins très variés, de l’assistance juridique à la poésie. L’important est de l’adapter au contexte, de la combiner avec d’autres réglages et de rester attentif aux conséquences sur la cohérence des réponses.