• Agentic AI
• AI-native SDLC
• Human-in-the-Loop
• Least Privilege
• Model Context Protocol (MCP)
• Knowledge Management

Herausforderung: KI-Coding-Agenten liefern Code schneller, als Teams ihn klassisch prüfen können. Skalierbar wird das erst mit klaren Rollen, automatischen Checks und einem Projektgedächtnis, das nicht in Chat-Verläufen verloren geht.

• Rollen (Human-in-the-Loop).

  • Der Product Owner formuliert Anforderungen und Befunde.
  • KI-Coding-Agenten setzen um, in der Entwicklungsumgebung und als Cloud-Agenten, die eigenständig Pull Requests erstellen.
  • Über 150 Pull Requests wurden gemergt, fast alle von Cloud-Agenten erstellt.

• Automatische Checks statt Vertrauen. Jeder Pull Request durchläuft automatisch:

  • Formatierung, Typprüfung und rund 2'300 Unit-Tests (ca. 2 Minuten),
  • die eingeloggte End-to-End-Suite gegen eine Wegwerf-Datenbank und ein deterministisches Testmodell (ca. 12 Minuten),
  • einen Vorschau-Build.

• Projektgedächtnis als Code (Knowledge Management für Agenten).

  • Konventionen, Messergebnisse und Fehlerursachen liegen als versionierte Wissensbasis im Repository: 38 Dateien, rund 29'000 Zeilen.
  • Jeder Agent startet mit demselben Wissen, jede Änderung daran ist ein prüfbarer Diff.
  • Wissen gelangt nur über geprüfte Commits ins Repository.

• Minimale Rechte (Least Privilege).

  • Agenten haben keinen Schreibzugriff auf Produktionsdaten und nur die Zugangsdaten, die ihre Aufgabe braucht.
  • Inhalte aus Tickets, Pull Requests und Fehlermeldungen gelten als nicht vertrauenswürdig (Prompt Injection).

• Test Automation
• Shift-Left Testing
• Compliance as Code
• Mock-LLM
• Regression Testing
• CI/CD

Herausforderung: Klassische Tests erwarten exakte Ausgaben, ein Sprachmodell antwortet auf dieselbe Frage jedes Mal etwas anders. Qualität entsteht deshalb über mehrere Ebenen: deterministisch, wo es geht, statistisch, wo es muss.

• Richtlinien als Tests (Compliance as Code, Shift-Left). Tests prüfen den gesamten Code auf feste Regeln – Verstösse fallen vor dem Merge auf, nicht im Betrieb:

  • Jeder KI-Aufruf ist auf EU-Region, Zero Data Retention und Ausschluss von Modelltraining festgelegt; einzige offengelegte Ausnahme ist die abschaltbare Web-Recherche.
  • Jeder zeitgesteuerte Job wird überwacht.
  • Beide Sprachfassungen sind vollständig.
  • Keine Werkzeugbeschreibung widerspricht einer definierten Prozesskette.

• Unit-Tests. Rund 2'300 Testfälle in 218 Testdateien, vor allem für die rechnenden Werkzeuge.

• End-to-End im Browser. 21 Playwright-Testdateien. Die eingeloggte Suite läuft in der CI gegen Wegwerf-Datenbank, Redis und ein deterministisches Mock-Modell: reproduzierbar und ohne Modellkosten.

• Visuelle Prüfung. Automatisierte Screenshots aller Oberflächen in beiden Sprachen, hell und dunkel.

• LLM-as-a-Judge
• Golden Set
• Grounding Checks
• Sycophancy-Tests
• Judge-Kalibrierung
• Rubric-based Scoring

Herausforderung: Ob eine KI-Antwort gut ist, entscheidet kein einzelner Assert. Ohne belastbare Bewertung bleibt jede Prompt-, Werkzeug- oder Modelländerung eine Meinungsfrage.

• Szenariokatalog (Golden Set).

  • Rund 120 Szenarien, als Einzelfragen und mehrstufige Dialoge, je mit Profil, Depot und eingefrorenen Marktdaten.
  • Jedes Szenario trägt bis zu 26 prüfbare Erwartungen. Jede wird einzeln bewertet: erfüllt, teilweise oder verfehlt.

• LLM-as-a-Judge mit fester Rubrik.

  • Sechs Dimensionen: Profilpassung, sachliche Richtigkeit, Konsistenz, Prozessklarheit, Risikotransparenz, Beratungserlebnis.
  • 16 vorgegebene Befundkategorien in vier Gruppen: Belegbarkeit, Inhalt, Prozess, Form.
  • Die Kategorien sind per Schema erzwungen, damit Befunde über alle Läufe hinweg vergleichbar bleiben.

• Deterministische Prüfregeln neben dem Judge (Grounding Checks).

  • 34 Befundkategorien, unter anderem: erfundene Links, interne Bezeichner in der Antwort, Handelsaufforderung, stillschweigend übergangene Kandidaten.
  • Zahlen werden mit den Werkzeugergebnissen abgeglichen.
  • Jede Antwort wird gegen die vorgesehene Werkzeugkette geprüft: fehlender Schritt, falsche Reihenfolge.
  • Neue Regeln werden vor dem Scharfschalten am Bestand gespeicherter Antworten auf Fehlalarme vermessen.

• Gegendruck-Tests (Sycophancy). Der simulierte Nutzer widerspricht oder drängt. Geprüft wird, ob das System bei der Sache bleibt, statt gefällig nachzugeben.

• Tool Calling
• Context Engineering
• Guardrails
• Human-in-the-Loop
• Prompt Caching
• Single Source of Truth

Herausforderung: Sprachmodelle formulieren überzeugend, rechnen aber unzuverlässig und kennen keine aktuellen Daten. Im Unternehmen müssen Zahlen stimmen, Abläufe einer Ordnung folgen und Schreibzugriffe kontrolliert sein.

• Arbeitsteilung als Architekturprinzip (Tool Calling).

  • Das Modell versteht die Frage, wählt Werkzeuge und erklärt die Ergebnisse.
  • Rechnen, prüfen, filtern und buchen tun 55 Werkzeuge. Jede Zahl in einer Antwort stammt aus einem Werkzeugaufruf.

• Werkzeugbeschreibungen sind Schnittstellenverträge (Single Source of Truth).

  • Das Modell folgt im Zweifel der Beschreibung des Werkzeugs, nicht dem Systemprompt.
  • Deshalb sind die Prozessketten einmal zentral als Daten hinterlegt, und ein Test verhindert, dass eine Werkzeugbeschreibung davon abweicht.

• Quittungen statt Hoffnung. Werkzeuge melden zurück, was geprüft, was übersprungen und welcher Schritt noch offen ist. Das lenkt das Modell deterministisch zurück in den Prozess.

• Selbstkorrektur in drei Stufen.

  1. Ungültige Eingaben werden abgelehnt.
  2. Abweichungen kommen als Warnung zurück.
  3. Wo ein objektives Soll-Ist prüfbar ist, rechnet ein stiller Probelauf vor der Ausführung.

• Grounding
• Structured Outputs
• Agentic Retrieval
• Data Provenance
• Hallucination Rate
• Prompt-Injection-Abwehr

Herausforderung: Unternehmenswissen steckt in Tabellen und Kennzahlen ebenso wie in Berichten, Nachrichten und Freitext. Ein Sprachmodell soll beides nutzen, ohne Werte zu erfinden und ohne Fremdtext als Anweisung zu verstehen.

• Grounding über Werkzeuge (Agentic Retrieval). Das Modell holt Daten bei Bedarf über Werkzeuge, statt aus seinem Trainingswissen zu antworten; jede Zahl ist auf einen Werkzeugaufruf rückführbar.

• Strukturierte Daten.

  • Eine Adapter-Schicht normalisiert Marktdaten, etwa Währungseinheiten, und macht den Anbieter per Konfiguration austauschbar (weniger Vendor Lock-in).
  • Ein nächtlicher Bewertungslauf über ein Universum von rund 2'000 Titeln archiviert Kennzahlen zeitpunktgenau.
  • Kennzahlen werden vor dem Vergleich auf eine Währungsbasis gebracht.
  • Nicht bewertbare Positionen werden offengelegt, statt still mit Annahmen gerechnet zu werden.

• Unstrukturiert wird strukturiert (Structured Outputs).

  • Sprachmodelle lesen Nachrichtentexte, Geschäftsberichte und Webquellen und schreiben in feste Schemas.
  • Beispiele: die Themenzuordnung jedes Titels mit Überzeugungsstufe, Marktkatalysatoren mit Konfidenz und Quelle (Data Provenance).

• Geschlossenes Vokabular, gemessene Halluzination.

  • Das Modell wählt aus vorgegebenen Kategorien. Nennt es eine, die es nicht gibt, wird sie verworfen und gezählt.
  • Der Grund: Eine still steigende Halluzinationsquote ist der Fehler, der von aussen am gesündesten aussieht.

• Privacy by Design
• Policy as Code
• Data Residency
• Zero Data Retention
• AI Security
• Supply Chain Security

Herausforderung: Richtlinien, die nur im Prompt oder im Handbuch stehen, sind Absichten. Belastbar werden sie, wenn Code sie erzwingt und Tests ihre Einhaltung prüfen.

• Datenresidenz als Test.

  • Jeder KI-Aufruf ist im Code auf die EU-Region, Zero Data Retention und den Ausschluss von Modelltraining festgelegt. Ein Test schlägt fehl, wenn ein neuer Aufruf das umgeht.
  • Einzige offengelegte Ausnahme ist die abschaltbare Web-Recherche. Sie übermittelt nur eine bereinigte Marktfrage ohne Personen- oder Depotdaten.
  • Diese Anfrage läuft direkt beim Modellanbieter in den USA, ebenfalls ohne Speicherung.

• Datenschutz im Datenmodell.

  • Kontonummern, Karten- und Steuernummern werden vor dem Speichern maskiert.
  • Hochgeladene Bilder werden nach der Auswertung entfernt.
  • Besonders schützenswerte Angaben werden nie ins Gedächtnis übernommen.
  • Nutzer können Löschfristen für ihre Chats wählen.

• Schutz vor Prompt Injection.

  • Über den Chat: Freigaben, Berechtigungen und Ausgabefilter sind im Code erzwungen – kein Prompt kann sie aushebeln.
  • Über Werkzeuge: Externe Inhalte wie Nachrichtentexte oder Webquellen sind Daten und gelten nie als Anweisung.

• Berechtigungen serverseitig. Vom Modell gelieferte Kennungen werden gegen den Eigentümer geprüft. Auch nicht abgerechnete Lesepfade sind ratenbegrenzt.

• Model Benchmarking
• A/B-Testing
• Unit Economics
• LLM-FinOps
• Observability

Herausforderung: Bei Modellwechseln, neuen Prompts und neuen Funktionen entscheidet ohne Messung das lauteste Argument. Und ohne Kostentransparenz skaliert ein KI-System in die falsche Richtung.

• Modellwahl per Experiment (Model Benchmarking).

  • Ein grösseres Sprachmodell trat gegen das eingesetzte an.
  • Aufbau: 38 Szenarien mit 81 Dialogschritten, zwei Läufe je Variante, zwei verschiedene Bewertungsmodelle.
  • Ergebnis Qualität: Der Unterschied lag in drei von vier Vergleichen innerhalb der Streuung zweier identischer Läufe, in einem knapp darüber, und war nirgends signifikant.
  • Ergebnis Kosten und Zeit: rund 2,2-fache Kosten je Dialogschritt, Median-Antwortzeit rund 30 Sekunden länger.
  • Entscheidung: kein Wechsel.

• Statistik statt Bauchgefühl. Gepaarte Vergleiche mit exakten p-Werten, Korrektur für Mehrfachtests (Benjamini-Hochberg), vorab registrierte Vergleichspaare.

• Forschung vor Funktion.

  • Über 200 Auswertungs- und Forschungsskripte, darunter 23 Studien zur Vorhersagekraft einzelner Signale.
  • Hypothesen, die nicht standhalten, kommen nicht ins Produkt.

• Kosten im Griff (Unit Economics).

  • Der Verbrauch wird je Nutzer und Monat gemessen und begrenzt.
  • Hintergrundarbeit wie Gedächtnis und Recherche wird in eigenen Töpfen ausgewiesen.
  • Prompt-Caching und das Lesen aus der Datenbank statt Live-Abrufen senken die Kosten je Dialogschritt.