Zum Glossar
Infrastruktur

Rate Limit

Ein Rate Limit ist eine Obergrenze dafür, wie viele Anfragen du in einem Zeitraum an einen KI-Dienst schicken darfst. Anbieter setzen sie ein, um die Server zu schützen und die Last fair zu verteilen. Wird die Grenze überschritten, werden weitere Anfragen vorübergehend abgewiesen oder verzögert. Bei eigener Software musst du das einplanen, etwa durch Wiederholungen mit Wartezeit.

Verwandte Begriffe