Comment fonctionne la Voice AI ?

La Voice AI en une phrase

La Voice AI est un logiciel qui mène une conversation parlée en enchaînant trois composants d'IA en temps réel : la reconnaissance vocale transforme vos mots en texte, un modèle de langage les interprète et décide quoi dire, et la synthèse vocale prononce la réponse. Ce qui donne l'impression d'un dialogue plutôt que d'une liste de commandes, c'est la couche d'orchestration : elle gère le rythme, traite les interruptions et, au besoin, transfère proprement vers un agent humain.

Les systèmes modernes bouclent ce cycle en bien moins de deux secondes. C'est précisément pour cela qu'un assistant vocal bien conçu peut prendre une réservation ou pré-qualifier un appel de support sans paraître robotique.

Le pipeline, étape par étape

Un tour de Voice AI se déroule comme une chaîne d'étapes en streaming. Chaque étape transmet des résultats intermédiaires à la suivante au lieu d'attendre son achèvement complet : c'est la clé d'une vitesse naturelle.

• Capture audio et VAD/endpointing : le flux du micro est surveillé par une Voice Activity Detection, qui distingue la parole du silence et détecte la fin de votre tour de parole (endpointing).
• Speech-to-text (STT/ASR) : un modèle en streaming transcrit l'audio en texte en continu, produisant des résultats provisoires ("partiels") qui se figent en texte final. Accents, jargon métier et bruit de fond sont les cas difficiles.
• Compréhension par un LLM : la transcription, l'historique et le contexte métier (via RAG ou appels d'outils/API) sont transmis à un modèle de langage qui détermine l'intention et rédige une réponse. C'est ici que sont interrogés systèmes de réservation, CRM ou bases de connaissances.
• Text-to-speech (TTS) : le texte de réponse est synthétisé en audio naturel et diffusé en streaming, souvent phrase par phrase, pour que la lecture démarre avant que la réponse complète soit prête.
• Orchestration : une couche de contrôle relie le tout, achemine chaque étape vers la suivante, suit l'état du dialogue et applique les règles d'interruption et d'escalade.

Latence et barge-in : pourquoi une bonne Voice AI paraît naturelle

Dans une conversation humaine, on attend une réponse en quelques centaines de millisecondes ; les longs silences semblent cassés. Le plus grand défi technique n'est donc pas la précision mais la latence. Les développeurs gagnent du temps en diffusant chaque étape au lieu d'attendre sa fin, en démarrant le TTS dès la première phrase et en préchargeant les données probablement nécessaires.

Une vraie conversation, c'est aussi pouvoir interrompre. Le barge-in permet à l'appelant de parler par-dessus l'assistant ; la VAD détecte la parole entrante, le système stoppe aussitôt la lecture, jette l'audio en mémoire tampon et traite la nouvelle entrée. Cela exige une annulation acoustique de l'écho pour que l'assistant ne transcrive pas sa propre voix comme celle de l'appelant.

Transfert humain et fiabilité

Un assistant vocal de niveau production connaît ses limites et transfère proprement. Le transfert humain n'est pas un échec mais une partie délibérément conçue du parcours.

• Déclencheurs : demande explicite ("un conseiller, svp"), faible confiance STT/intention, sentiment négatif ou frustration, sujets hors périmètre ou sensibles (paiements, réclamations, juridique), échecs répétés.
• Transfert accompagné : le système transmet à l'humain la transcription en cours et le contexte collecté, pour que l'appelant n'ait pas à se répéter.
• Solutions de repli : si aucun conseiller n'est disponible, enregistrer un rappel ou orienter vers un formulaire, sans jamais laisser l'appelant bloqué dans une boucle.
• Garde-fous : journaliser la confiance, ancrer le LLM sur des faits récupérés (pour réduire les hallucinations) et indiquer que l'appelant parle à une IA.

Perspective suisse : protection des données, transparence, hébergement

• revDSG/nFADP : l'enregistrement d'une voix est une donnée personnelle ; une empreinte vocale servant à identifier une personne peut être une donnée biométrique sensible. Informer les appelants, définir finalité et base légale, limiter la conservation.
• Transparence : indiquer que l'appelant parle à une machine, conformément aux obligations de transparence de l'EU AI Act (extraterritorial, donc pertinent pour les PME suisses servant l'UE) et aux attentes de traitement loyal surveillées en Suisse par le PFPDT (EDÖB).
• Hébergement des données et sous-traitants : savoir où l'audio et les transcriptions sont traités et stockés ; privilégier un hébergement CH/UE si possible et conclure un contrat de sous-traitance avec vos fournisseurs de voix/LLM.
• Erreurs fréquentes : courir après la précision en ignorant la latence ; pas de barge-in (l'utilisateur se sent coupé) ; pas de transfert propre ; enregistrer sans prévenir ; laisser le LLM répondre sans ancrage (règles inventées) ; tester seulement au calme avec des locuteurs natifs.