Leçon interactive
Comment un modèle de langage écrit-il ?
D’abord situer l’IA. Puis comprendre comment un modèle écrit, avec des jeux.
Trois repères pour comprendre l’IA
Clique sur les trois repères pour voir leur lien.
Par exemple…
ClasserTrier des messages
PrévoirEstimer un risque de panne
Et aussi : recommander, planifier…
Par exemple, avec un LLM génératif.
Un même outil peut combiner plusieurs modèles et plusieurs usages.
À toi : que fait cette IA ?
1 / 4Un modèle trie les messages en « utiles » ou « indésirables ».
Pour aller plus loin
Des tâches, plusieurs méthodes. Certains systèmes suivent des règles et utilisent des connaissances. D’autres apprennent à partir de données. Ces approches peuvent se combiner. Toute IA n’est pas un réseau de neurones.
Des modèles qui se combinent. Un LLM peut faire partie d’un système qui traite aussi des images ou du son : on parle de système multimodal. Le schéma montre des exemples d’usages, pas des familles d’outils séparées.
Créer une image. Certains modèles apprennent à retirer peu à peu du bruit : c’est la diffusion. La génération ne se limite donc pas au prochain mot.
Sources sur les formes d’IA · Sources sur les modèles génératifs
Comment un LLM apprend-il ?
Avant de répondre, un modèle est entraîné sur beaucoup de textes. Ses réglages changent pour mieux prévoir la suite d’un texte.
Il apprend des liens entre les mots, mais aussi des informations. Il peut les réutiliser dans de nouvelles phrases — et parfois se tromper.
Les LLM génératifs étudiés ici apprennent notamment à prédire le token suivant. Le pré-entraînement ajuste leurs paramètres. Un post-entraînement les prépare ensuite à suivre des consignes.
Ce n’est pas un simple comptage de mots. Le réseau apprend des représentations et peut mémoriser certains passages. Ce que ces capacités impliquent pour la « compréhension » reste débattu. Donner une nouvelle consigne ne réentraîne pas automatiquement le modèle.
Le mot d'après
Choisir un début de phrase. Les pourcentages sont inventés pour ce jeu.
___
Écrire un morceau à la fois
Le modèle écrit par tokens : un mot, une partie de mot ou un signe. Il utilise la consigne et le texte déjà écrit pour calculer la suite. Il ne choisit pas toujours le token le plus probable.
La génération est autorégressive : à chaque étape, le modèle calcule des probabilités à partir du contexte disponible. Le décodage choisit ensuite un token, par exemple par tirage pondéré ou en prenant le plus probable.
La phrase mot à mot
Choisir une suite. Ce jeu utilise des mots et des groupes de mots, avec des probabilités fictives. Un vrai modèle travaille en tokens.
|Phrase terminée !
Un modèle écrit sous nos yeux
Ici, un vrai modèle répond. Choisir une question, un modèle et une température, puis comparer les essais.
Changer un seul réglage à la fois aide à comparer. Un seul essai ne suffit pas à conclure.
Le serveur peut envoyer du texte en plusieurs fragments ou renvoyer toute la réponse d’un bloc. Un fragment reçu n’est pas forcément un token : cet affichage ne mesure pas la vitesse interne du modèle.
La génération en direct
Historique des générations
À observer : les réponses peuvent changer avec les réglages, ou d’un essai à l’autre. Lesquelles sont exactes ? Il faut vérifier pour le savoir.
Observation : la vitesse dépend du matériel, de la charge du serveur, du contexte et de l’architecture. Le nombre total de paramètres ne suffit pas à la prévoir.
La température : des choix plus ou moins variés
Une température basse favorise les tokens les plus probables. Une température plus haute donne plus de chances aux autres. Ce réglage ne garantit pas la vérité.
Pour T > 0, la température modifie la répartition des probabilités. T = 0 correspond généralement au choix du token maximal. Même alors, le service ne garantit pas toujours une réponse identique. Diversité, créativité et exactitude sont trois choses différentes.
Le curseur
Illustration : ces phrases sont écrites à l’avance. Elles ne prédisent pas le résultat d’un modèle.
Température :
Prompt : « L'école du futur sera... »
Quand un modèle se trompe : les hallucinations
Un modèle peut donner une réponse fausse ou inventée, même avec un ton assuré. On parle d’hallucination. Chercher sur le web peut aider, mais n’empêche pas toutes les erreurs.
Prédire une suite de texte ne garantit pas sa vérité. Les erreurs peuvent venir des données, de l’entraînement, du contexte ou de la génération. Des documents pertinents aident, mais peuvent aussi être mal utilisés.
Vrai ou inventé ?
Voici quatre phrases préparées pour le jeu. Certaines contiennent des erreurs. Lesquelles ?
Les biais : le reflet du bocal
Dans ce bocal, une bille a 8 chances sur 10 d’être bleue. C’est une image simple pour montrer qu’un déséquilibre des données peut influencer les réponses d’un modèle.
Les biais peuvent venir des données, mais aussi des annotations, des choix d’entraînement et de l’usage. Un LLM ne copie pas exactement les fréquences de son corpus. Le bocal illustre un effet possible, pas tout le mécanisme.
Le bocal
Bocal biaisé (80 % bleu, 20 % rouge)
Bocal équilibré (50% / 50%)
À retenir : varier les données peut aider à réduire certains biais. Cela ne suffit pas à tous les supprimer.
Pourquoi les modèles diffèrent-ils ?
Les modèles sont créés par des équipes différentes. Leurs données et leurs réglages varient. Le pays du concepteur ne permet pas de deviner sa réponse.
Une différence de réponse peut venir du corpus, du post-entraînement, des consignes ou du tirage. Comparer quelques textes ne permet pas d’isoler ces causes. Les corpus peuvent être multilingues, quel que soit le pays du concepteur.
Les IA utilisées sur Éduc'IA
Pourquoi comparer ? Pour repérer des écarts, puis vérifier. Plusieurs modèles peuvent répéter la même erreur.
Précaution : les modèles ne sont pas des sources indépendantes. Leurs données peuvent se recouper. Pour vérifier un fait, consulter aussi un document fiable.
Place à la pratique
À retenir : un LLM peut aider à écrire et à réfléchir. Ses réponses restent à vérifier.
Sources et précisions scientifiques →
Découvrir les modules