Définition
Transformer (architecture)
Le transformer est une architecture de réseau de neurones présentée en 2017 qui, au moyen d'un mécanisme d'attention, pondère les relations entre tous les éléments d'une séquence, rendant possibles les modèles de langage modernes.
Grâce à l'attention, le modèle peut tenir compte du contexte d'un mot sur tout le texte et paralléliser fortement le traitement. Cette architecture est au cœur de presque tous les LLM actuels ; le « GPT » de ChatGPT signifie « Generative Pre-trained Transformer ».