LoRA

LoRA (Low-Rank Adaptation) ist eine sparsame Methode, ein vortrainiertes Modell an eine neue Aufgabe anzupassen. Statt alle Gewichte neu zu trainieren, fügt LoRA nur wenige kleine Zusatzschichten hinzu und passt diese an. Das spart Rechenzeit und Speicher und macht das Ergebnis leicht austauschbar. Du erkennst LoRA oft bei Bildmodellen, wo ein kleiner Zusatz einen bestimmten Stil ergänzt.