Mistral stellt Voxtral 3 und ein SDK für Sprachagenten vor

Der KI-Anbieter Mistral hat Voxtral 3 vorgestellt: neue Modelle für Spracherkennung und Sprachausgabe sowie ein SDK für Sprachagenten. Laut Mistrals Ankündigung ist das Paket ab sofort über die EU-gehostete API oder zum Eigenbetrieb auf eigener Infrastruktur verfügbar.

Gedacht ist das für Agenten, die während eines Telefonats oder Web-Gesprächs etwa die Identität eines Anrufers prüfen, eine Rechnung nachsehen oder einen Termin buchen, so beschreibt es Mistral. Die Ankündigungsseite zeigt dazu eine Herstellerdemo: Eine anrufende Person hat eine französische Überweisung und bittet um einen Termin. Der Agent ruft das Schreiben über die Referenznummer per Werkzeugaufruf ab, erklärt es auf Englisch und bucht nach einer Rückfrage den nächsten freien Termin. Werkzeugaufruf heißt hier: Das Sprachmodell stößt eine Funktion in einem angeschlossenen System an.

Fünf Modelle für drei Aufgaben

Die Bausteine dafür sind fünf Modelle. Laut Dokumentation wandeln drei davon Sprache in Text, zwei Text in Sprache.

Voxtral Mini Transcribe 3 (voxtral-mini-transcribe-3-0) transkribiert aufgezeichnete Dateien samt Sprecherlabels und eigener Vokabelliste. Live-Audio übernimmt Voxtral Mini Transcribe Realtime 3. Es erkennt, wann jemand ausgeredet hat, und seine Streaming-Verzögerung lässt sich pro Sitzung zwischen 80 und 1.200 Millisekunden oder auf 2.400 Millisekunden setzen.

Bei Voxtral Small Transcribe 3 sind die Angaben widersprüchlich. Die Dokumentation beschreibt es als genaueres Modell für aufgezeichnete Dateien, das zum Start nur transkribiert. Die Ankündigung schreibt ihm dagegen auch Diarisierung zu, also die Zuordnung, wer was gesagt hat, sowie Kontextvokabular. Welche Angabe den aktuellen Stand trifft, klären die Quellen nicht.

Für die Sprachausgabe (Text-to-Speech, kurz TTS) erzeugt Voxtral TTS 3 Sprache aus Text, mit voreingestellten oder geklonten Stimmen. Emotion und Sprechtempo lassen sich laut Dokumentation über Tags steuern. Voxtral TTS Realtime 3 streamt Sprache für Live-Gespräche.

Sprachen, Preise und eigenes Vokabular

Die Transkription deckt laut Mistral 50 Sprachen ab, darunter die 24 offiziellen EU-Sprachen. Die Mini-Variante hat vier Milliarden Parameter und kostet 0,0035 Dollar pro Minute, Small Transcribe 3 liegt bei 0,0040 Dollar, das Echtzeit-Transkriptionsmodell bei 0,008 Dollar pro Minute.

Sprachausgabe mit Voxtral Mini TTS 3 kostet laut Mistrals Preistabelle 13 Dollar pro einer Million Zeichen. Für die komplette Voice-Agent-API setzt der Hersteller 0,04 Dollar pro Minute an, wenn Mistral Small 4 das Denken übernimmt, und 0,08 Dollar pro Minute mit einem größeren Modell.

Fachbegriffe kommen über Context Biasing ins Spiel: Schlüsselbegriffe oder Freitext lenken die Transkription. Laut Ankündigung verbessert das die Erkennung technischer Begriffe und erlaubt den Produktiveinsatz mit Fachvokabular ohne Fine-Tuning, also ohne ein Modell nachzutrainieren. Mistral schreibt das beiden Modellen für aufgezeichnete Dateien zu; für Small gilt der oben genannte Vorbehalt.

Ein hypothetischer Fall: Ein Agent für Rechnungsanfragen bekommt Tarifnamen und Produktbezeichnungen als Liste mit, statt dass ein eigenes Modell nachtrainiert wird. Bei Mini Transcribe 3 teilen sich Liste und Audio laut Dokumentation denselben Kontext, also das Volumen, das das Modell auf einmal verarbeitet. Lange Listen kosten also Platz.

Das SDK verbindet getrennte Stufen

Das Voice-Agent-SDK, ein Software-Baukasten für Entwickler, baut laut Mistral auf LiveKit auf und lässt Zuhören, Denken und Sprechen als durchgehenden Datenstrom laufen. Voxtral Mini Transcribe Realtime 3 hört zu und erkennt, wann der Anrufer fertig gesprochen hat. Ein allgemeines Sprachmodell wie Mistral Small wertet die Anfrage aus und ruft Werkzeuge auf, Voxtral TTS antwortet im bisherigen Gesprächston. Die Werkzeugaufrufe liegen also beim Sprachmodell, nicht bei der Transkription.

Weil keine Stufe auf die vorherige wartet, soll laut Mistral jeder Gesprächszug in unter einer Sekunde abgeschlossen sein. Das ist eine Herstellerangabe, keine unabhängige Messung. Ob sie auch für Antworten mit mehreren Werkzeugaufrufen gilt, lässt die Ankündigung offen. Unterbricht der Anrufer, hört der Agent auf zu sprechen. Anrufe laufen über SIP, in Browsern und Apps über WebRTC. Weil jede Stufe ein eigenes Modell ist, lassen sich LLM, Stimme oder Sprache wechseln, ohne den Agenten neu zu schreiben.

Wie viele Sprachen der Echtzeitpfad beherrscht, bleibt unscharf. Im Fließtext der Ankündigung kommt das Echtzeit-Transkriptionsmodell auf eine Latenz unter 500 Millisekunden in über 35 Sprachen, die Modellübersicht derselben Seite spricht von über 40.

Für Python bringt das Extra realtime des Mistral-SDK laut Dokumentation den WebSocket-Client für Echtzeit-Transkription mit; wer noch Voxtral-2-Modelle aufruft, findet dort eine Migrationsseite. Zum Weiterlesen: Verteilte Traces für Agenten: Werkzeugaufrufe über Systemgrenzen verfolgen.

EU-API und Eigenbetrieb auseinanderhalten

Mistral begründet beide Bereitstellungswege mit Kontrolle: Organisationen sollen bestimmen können, wo Audio verarbeitet wird, wie Daten behandelt werden und ob Gespräche gespeichert bleiben. Die API selbst ist laut Ankündigung über europäische, US- und globale Endpunkte erreichbar. Für den kompletten Stack on-premises oder in einer privaten Cloud verweist Mistral an sein Team.

Eine EU-gehostete API ist kein Eigenbetrieb. Bei der API-Nutzung läuft das Audio über Mistrals Endpunkte, im Eigenbetrieb arbeitet Voxtral 3 auf Infrastruktur, die die Organisation selbst betreibt. Mistral beschreibt damit Kontrollmöglichkeiten. Eine Zusage, dass ein bestimmtes Setup Datenschutzvorgaben erfüllt, ist das nicht. Mehr zum lokalen Modellbetrieb: DeepSeek veröffentlicht DeepInfer für Offline-Inferenz.

Modellwahl nach Einsatz statt uneinheitlicher Herstellerangaben

• Voxtral 3 zielt auf Sprachagenten, die im Gespräch Daten abfragen und Aufgaben wie Terminbuchungen erledigen; die Werkzeugaufrufe übernimmt dabei das allgemeine Sprachmodell.
• Für aufgezeichnete Dateien mit Vokabelliste ist Mini Transcribe 3 dokumentiert, für Live-Gespräche das Realtime-Modell. Beim Funktionsumfang von Small Transcribe 3 widersprechen sich Ankündigung und Dokumentation.
• Latenz, Sprachzahl und Preise sind Herstellerangaben; die Sprachzahl der Echtzeit-Transkription ist schon innerhalb der Ankündigung uneinheitlich.