Transformer

Der Transformer ist die Netzwerk-Architektur, auf der nahezu alle modernen Sprachmodelle beruhen. Sein Kern ist der Attention-Mechanismus, der bewertet, welche Wörter im Text füreinander wichtig sind. Seit 2017 hat er ältere Ansätze weitgehend abgelöst.