Was macht ein AI Engineer?

Wartbarer Anwendungscode bleibt die Basis. Dazu gehören Datenstrukturen, Objektorientierung, asynchrone Abläufe, Fehlerbehandlung und der sichere Umgang mit Bibliotheken. Python und TypeScript sind häufige Werkzeuge, die grundlegenden Engineering-Prinzipien gelten jedoch unabhängig von einer bestimmten Sprache.

Ebenso wichtig sind eine nachvollziehbare Repository-Struktur, Versionsverwaltung, isolierte Entwicklungsumgebungen, Konfiguration über Umgebungsvariablen, Linux-Werkzeuge und Tests. Relationale und dokumentenorientierte Datenbanken, Transaktionen und Abfrageoptimierung gehören weiterhin zum Alltag. Coding-Agenten können bei dieser Arbeit helfen, brauchen aber eigene Anweisungen, begrenzte Werkzeuge, Gedächtnisregeln und deterministische Prüfungen.

Ein AI Engineer trainiert nicht zwingend selbst ein großes Modell. Er sollte aber verstehen, wie Tokenisierung, Kontextfenster, Transformer und Attention die Verarbeitung beeinflussen. Dieses Wissen hilft bei der Fehlersuche und verhindert Erwartungen, die ein Sprachmodell technisch nicht erfüllen kann.

Bei Klassifikation, Suche und Rangfolgen werden außerdem Metriken wie Precision, Recall und F1 relevant. Dabei zählt nicht nur eine Kennzahl: Je nach Aufgabe können übersehene Treffer schwerer wiegen als falsche Treffer – oder umgekehrt.

Die Modellwahl ist eine Abwägung aus Qualität, Kosten pro Token, Latenz, Kontextgröße, Lizenz und Betriebsform. Ein größeres Modell ist nicht automatisch die bessere Wahl, wenn eine kleinere Variante die konkrete Aufgabe zuverlässiger, schneller oder kontrollierbarer erfüllt.

Prompting umfasst klare Systemregeln, passende Beispiele und strukturierte Ausgaben, etwa nach einem festgelegten JSON-Schema. Context Engineering geht darüber hinaus: Für jeden Schritt wird dynamisch zusammengestellt, welche Anweisungen, Daten, bisherigen Ergebnisse und Werkzeugbeschreibungen das Modell wirklich benötigt.

Retrieval-Augmented Generation, kurz RAG, versorgt das Modell mit ausgewählten Inhalten. Dafür werden Dokumente zunächst in sinnvolle Abschnitte geteilt – zum Beispiel rekursiv nach Trennzeichen, semantisch oder entlang ihrer Überschriften – und zusammen mit Metadaten auffindbar gemacht.

Bei der Suche können Vektortreffer für ähnliche Bedeutungen und eine Volltextsuche für genaue Begriffe kombiniert werden. Ein nachgeschaltetes Reranking sortiert die Kandidaten noch einmal, bevor nur die passendsten Abschnitte in den Modellkontext gelangen. Welche Kombination trägt, zeigt sich an repräsentativen Fragen und gemessener Trefferqualität.

Function Calling gibt einem Modell Zugriff auf klar beschriebene Funktionen. MCP oder projektspezifische Schnittstellen können Modelle mit Dateisystemen, Datenbanken, Unternehmensdiensten und weiteren Werkzeugen verbinden. Jede Schnittstelle braucht ein eindeutiges Schema, begrenzte Rechte und eine robuste Behandlung externer Fehler.

Ein Agentenzyklus plant einen Schritt, führt ihn aus, prüft das Ergebnis und entscheidet über den nächsten Schritt. Ohne Zustandsverwaltung, Abbruchbedingungen, Zähler und Fehlerpfade kann daraus eine Endlosschleife oder eine unkontrollierte Aktion werden. Orchestrierung bedeutet deshalb vor allem, den Handlungsspielraum technisch zu führen.

Deterministische Tests prüfen feste Verträge, Regeln und bekannte Fehlerfälle. Fachliche Benchmarks messen das Verhalten mit synthetischen und realen Beispielen. Eine modellgestützte Bewertung kann diese Prüfungen ergänzen, sollte aber nicht allein entscheiden, ob eine Funktion zuverlässig arbeitet.

Tracing und Logging machen einzelne Verarbeitungsschritte sichtbar. Dazu gehören Modellaufrufe, Latenz, Tokenverbrauch, Kosten und Engpässe – innerhalb der jeweils erlaubten Datenverarbeitung. Eingaben werden gefiltert, kritische Werkzeugaufrufe begrenzt und Systemanweisungen sowie vertrauliche Daten gegen unbeabsichtigte Preisgabe geschützt.

Lineare Algebra hilft, Vektoren, Embeddings und Ähnlichkeitsmaße wie die Kosinusähnlichkeit einzuordnen. Wahrscheinlichkeitsrechnung erklärt Tokenverteilungen, Sampling und den Einfluss von Parametern wie der Temperatur. Ein konzeptionelles Verständnis von Gradientenabstieg und Verlustfunktionen zeigt, wie Modelle beim Training angepasst werden.

Für viele Integrationsaufgaben reicht ein belastbares Begriffsverständnis; die Formeln müssen nicht täglich von Hand berechnet werden. Tieferes mathematisches Wissen wird wichtiger, sobald eigene Modelle trainiert, Bewertungsverfahren entwickelt oder Modellverhalten genauer untersucht werden soll.