Definition
Inferenz (KI)
Inferenz bezeichnet den Vorgang, ein bereits trainiertes KI-Modell auf neue Eingaben anzuwenden, um eine Ausgabe wie eine Vorhersage oder generierten Text zu erzeugen – im Gegensatz zum Training.
Jede Anfrage an ein KI-System löst Inferenz aus und verursacht die laufenden Betriebskosten. Ihre Geschwindigkeit und ihr Ressourcenbedarf bestimmen, ob ein Modell in der Cloud oder lokal sinnvoll läuft.