Pre-Training

Pre-Training ist die erste, große Lernphase eines Modells, in der es aus sehr vielen ungeordneten Daten allgemeine Muster lernt. Bei Sprachmodellen geschieht das meist, indem das Modell wieder und wieder den nächsten Textbaustein vorhersagt. Daraus entsteht ein breites Grundverständnis von Sprache und Wissen. Erst danach folgen feinere Schritte wie Fine-Tuning für konkrete Aufgaben.