Softmax

Softmax ist eine Funktion, die eine Liste von Zahlen in Wahrscheinlichkeiten umwandelt, die sich zu 100 Prozent addieren. Am Ende eines Sprachmodells macht sie aus den Rohwerten für viele mögliche nächste Token eine Wahrscheinlichkeitsverteilung. So entsteht die Grundlage dafür, welches Wort als Nächstes gewählt wird.