Definizione
Transformer (architettura)
Il transformer è un'architettura di rete neurale presentata nel 2017 che, tramite un meccanismo di attenzione (attention), pesa le relazioni tra tutti gli elementi di una sequenza, rendendo possibili i moderni modelli linguistici.
Grazie all'attention, il modello può considerare il contesto di una parola nell'intero testo e parallelizzare fortemente l'elaborazione. Questa architettura è alla base di quasi tutti gli LLM odierni; la «GPT» in ChatGPT sta per «Generative Pre-trained Transformer».