Comment fonctionnent les grands modèles de langage (LLM)?

Ce qu'est vraiment un grand modèle de langage

Un LLM n'est ni un ouvrage de référence ni un moteur de recherche, mais un modèle probabiliste du langage. Parmi les exemples connus figurent GPT (OpenAI), Claude (Anthropic), Gemini (Google) et Llama (Meta). Tous reposent sur le même principe: calculer quels fragments de mots suivent le plus probablement un texte donné.

Un modèle naisse en deux phases. Lors du préentraînement, il apprend des motifs linguistiques généraux à partir de très grands volumes de texte. Il est ensuite orienté par le fine-tuning et des méthodes comme le RLHF (apprentissage par renforcement à partir de retours humains) pour répondre de manière utile, sûre et adaptée à la conversation. La connaissance ne réside pas dans une base de données, mais dans des milliards de paramètres entraînés.

Tokens: comment le texte devient des nombres

Un LLM ne traite pas directement des lettres ou des mots entiers, mais des tokens: de petites unités de texte, souvent des fragments de mots. Un tokenizer découpe l'entrée en ces briques et attribue à chacune un nombre. Chaque nombre est ensuite traduit en un vecteur (un embedding) avec lequel le réseau peut calculer.

• En règle générale approximative, un token correspond à environ quatre caractères en anglais; en allemand cela varie souvent en raison des longs mots composés.
• Les mots rares, les nombres et le code sont découpés en plusieurs tokens, tandis que les mots courants tiennent souvent en un seul.
• Les coûts et limites des modèles commerciaux sont presque toujours facturés en tokens, pas en mots.

Prédiction du prochain token: le mécanisme central

Dans son principe, un LLM ne fait qu'une chose: pour le texte déjà produit, il calcule une distribution de probabilité sur tous les tokens suivants possibles et en choisit un. Ce token est ajouté, et tout le processus se répète token par token. On appelle cela la génération autoregressive: le texte se construit pas à pas, toujours sur la base de ce qui est déjà écrit.

Un paramètre appelé temperature contrôle à quel point le modèle s'éloigne du token le plus probable. Des valeurs basses donnent des réponses prévisibles et factuelles; des valeurs plus élevées favorisent la variété et la créativité mais augmentent le risque d'erreurs. Le modèle est entraîné en comparant sa prédiction au token réellement suivant sur des milliards de passages de texte et en ajustant légèrement ses paramètres.

Transformers et attention: l'architecture

Presque tous les LLM actuels reposent sur le transformer, présenté en 2017 dans l'article Attention Is All You Need. Son composant décisif est le mécanisme d'attention, plus précisément la self-attention: pour chaque token, le modèle évalue la pertinence de tous les autres tokens du contexte et les pondère en conséquence.

Ainsi le modèle saisit le sens dépendant du contexte: dans la banque de la rivière, banque signifie autre chose que argent à la banque. De nombreuses couches d'attention empilées, combinées aux poids stockés dans des milliards de paramètres, permettent de modéliser des relations complexes. Comme l'attention calcule en parallèle, les modèles peuvent être entraînés efficacement sur d'énormes volumes de données.

La fenêtre de contexte: la mémoire à court terme

La fenêtre de contexte est la quantité maximale de tokens qu'un modèle peut prendre en compte en une seule fois. L'instruction système, votre saisie, les documents téléversés et la réponse en cours doivent tous y tenir. Lorsque la fenêtre est pleine, le texte le plus ancien disparaît et le modèle perd cette information.

Point important: un LLM n'a pas de mémoire persistante propre au-delà d'une seule session. Ce qu'il doit savoir dans une nouvelle conversation doit être fourni à nouveau. Des contextes très longs augmentent aussi le calcul et le coût, et les détails pertinents au milieu de longues entrées sont parfois moins bien pris en compte que ceux du début ou de la fin.

Pourquoi les LLM hallucinent

Une hallucination est une affirmation formulée avec fluidité mais factuellement fausse ou inventée. Elle ne provient pas d'un dysfonctionnement mais du principe de base: le modèle génère un texte qui semble plausible, il ne récupère pas de faits vérifiés. Si une suite erronée est linguistiquement probable, elle peut être formulée de manière aussi convaincante qu'une suite correcte.

• Lacunes de connaissance: les données d'entraînement contenaient trop peu de matière ou des éléments contradictoires sur un sujet.
• Date limite des connaissances (cutoff): les événements postérieurs à la fin de l'entraînement sont inconnus du modèle.
• Questions ambigues et incitation à toujours fournir une réponse plutôt qu'à signaler l'incertitude.
• Parades: la génération augmentée par récupération (RAG) avec des sources fiables, la demande de sources, une temperature plus basse et une vérification humaine systématique.

Ce que cela implique pour un usage pratique

Comprendre le fonctionnement des LLM, c'est les utiliser correctement: comme de puissants assistants pour des brouillons, des synthèses et des idées, non comme autorité finale sur les faits. Les affirmations importantes, chiffres, citations et détails juridiques doivent toujours être vérifiés. Un humain reste responsable du résultat.

Pour les entreprises en Suisse s'ajoute la protection des données. Avant de saisir des données personnelles ou des secrets d'affaires dans un outil d'IA, il faut vérifier la loi révisée sur la protection des données (revDSG) et le lieu de traitement; le PFPDT (EDOEB) est l'autorité de surveillance compétente. Des directives internes claires et le choix de services adaptés, idéalement hébergés en Suisse ou dans l'UE, instaurent la confiance.