Wie funktioniert Voice AI?

Voice AI in einem Satz

Voice AI ist Software, die ein gesprochenes Gespräch führt, indem sie drei KI-Komponenten in Echtzeit verkettet: Spracherkennung wandelt Ihre Worte in Text, ein Sprachmodell interpretiert sie und entscheidet, was gesagt wird, und Sprachsynthese spricht die Antwort aus. Was sich wie ein Dialog und nicht wie eine Befehlsliste anfühlt, ist die Orchestrierungsschicht: Sie steuert das Timing, verarbeitet Unterbrechungen und übergibt bei Bedarf sauber an einen Menschen.

Moderne Systeme durchlaufen diese Schleife in deutlich unter zwei Sekunden. Genau deshalb kann ein gut gebauter Sprachassistent eine Tischreservierung entgegennehmen oder einen Support-Anruf vorqualifizieren, ohne roboterhaft zu wirken.

Die Pipeline Schritt für Schritt

Ein Voice-AI-Turn läuft als Kette streamender Stufen ab. Jede Stufe reicht Zwischenergebnisse an die nächste weiter, statt auf ihren vollständigen Abschluss zu warten – das ist der Schlüssel zur natürlichen Geschwindigkeit.

• Audioaufnahme & VAD/Endpointing: Der Mikrofonstrom wird von einer Voice Activity Detection überwacht, die Sprache von Stille trennt und erkennt, wann Sie ausgesprochen haben (Endpointing).
• Speech-to-Text (STT/ASR): Ein Streaming-Modell transkribiert Audio fortlaufend in Text und liefert vorläufige ("partielle") Ergebnisse, die sich zu finalem Text verfestigen. Dialekt, Fachjargon und Hintergrundlärm sind die harten Fälle.
• Verständnis mit einem LLM: Transkript, Gesprächsverlauf und Geschäftskontext (über RAG oder Tool-/API-Aufrufe) gehen an ein Sprachmodell, das die Absicht bestimmt und eine Antwort entwirft. Hier werden Buchungssysteme, CRM oder Wissensdatenbanken abgefragt.
• Text-to-Speech (TTS): Der Antworttext wird in natürliches, streamendes Audio synthetisiert – oft Satz für Satz, damit die Wiedergabe beginnt, bevor die ganze Antwort fertig ist.
• Orchestrierung: Eine Steuerungsschicht verbindet alles – sie streamt jede Stufe in die nächste, verfolgt den Dialogzustand und setzt die Regeln für Unterbrechungen und Eskalation durch.

Latenz und Barge-in: warum sich gute Voice AI natürlich anfühlt

Im menschlichen Gespräch erwarten wir eine Antwort innerhalb weniger hundert Millisekunden; lange Pausen wirken kaputt. Die grösste technische Herausforderung ist deshalb nicht die Genauigkeit, sondern die Latenz. Entwickler sparen Zeit, indem sie jede Stufe streamen statt auf ihren Abschluss zu warten, TTS bereits beim ersten Satz starten und wahrscheinlich benötigte Daten vorab laden.

Echte Konversation heisst auch: unterbrechen können. Barge-in erlaubt es dem Anrufer, in die Antwort des Assistenten hineinzureden; die VAD erkennt die eingehende Sprache, das System stoppt die Wiedergabe sofort, verwirft das gepufferte Audio und verarbeitet die neue Eingabe. Dafür braucht es akustische Echounterdrückung, damit der Assistent nicht seine eigene Stimme als Anrufer transkribiert.

Menschliche Übergabe und Zuverlässigkeit

Ein produktionsreifer Sprachassistent kennt seine Grenzen und übergibt sauber. Die Übergabe (Human Handoff) ist kein Versagen, sondern ein bewusst gestalteter Teil des Ablaufs.

• Auslöser: ausdrücklicher Wunsch ("bitte einen Mitarbeiter"), niedrige STT-/Intent-Konfidenz, negative Stimmung oder Frust, ausserhalb des Zuständigkeitsbereichs oder heikle Themen (Zahlungen, Beschwerden, Rechtliches), wiederholtes Scheitern.
• Warmer Transfer: Das System übergibt das laufende Transkript und den gesammelten Kontext an den Menschen, damit der Anrufer sich nicht wiederholen muss.
• Fallbacks: Ist kein Mitarbeiter verfügbar, wird ein Rückruf erfasst oder auf ein Formular geleitet – der Anrufer bleibt nie in einer Schleife hängen.
• Leitplanken: Konfidenz protokollieren, das LLM mit abgerufenen Fakten erden (um Halluzinationen zu senken) und offenlegen, dass der Anrufer mit einer KI spricht.

Schweizer Perspektive: Datenschutz, Transparenz, Datenhaltung

• revDSG/nFADP: Die Aufnahme einer Stimme ist Personendaten; ein Stimmabdruck zur Identifikation einer Person kann als biometrisches Datum besonders schützenswert sein. Anrufer informieren, Zweck und Rechtsgrundlage festlegen, Aufbewahrung begrenzen.
• Transparenz: Offenlegen, dass der Anrufer mit einer Maschine spricht – das deckt sich mit den Transparenzpflichten des EU AI Act (extraterritorial, also relevant für Schweizer KMU mit EU-Kundschaft) und den Erwartungen an eine faire Bearbeitung, über die in der Schweiz der EDÖB wacht.
• Datenhaltung & Auftragsverarbeiter: Wissen, wo Audio und Transkripte verarbeitet und gespeichert werden; wo möglich CH/EU-Hosting bevorzugen und mit den Voice-/LLM-Anbietern einen Auftragsverarbeitungsvertrag abschliessen.
• Häufige Fehler: Genauigkeit jagen und Latenz ignorieren; kein Barge-in (Nutzer fühlen sich überredet); keine saubere Übergabe; ohne Hinweis aufzeichnen; das LLM ungeerdet antworten lassen (erfundene Richtlinien); nur im stillen Raum mit Muttersprachlern testen.