Definition
Transformer (Architektur)
Der Transformer ist eine 2017 vorgestellte neuronale Netzarchitektur, die mit einem Aufmerksamkeitsmechanismus (Attention) die Beziehungen zwischen allen Elementen einer Sequenz gewichtet und so moderne Sprachmodelle ermöglicht.
Dank Attention kann das Modell den Kontext eines Wortes über den ganzen Text hinweg berücksichtigen und die Verarbeitung stark parallelisieren. Diese Architektur bildet die Grundlage nahezu aller heutigen LLMs; das «GPT» in ChatGPT steht für «Generative Pre-trained Transformer».