Auf einen Blick

Springe zu: Sicherheit · Transkribieren (STT) · Sprache (TTS) · Streaming · Übersetzen · Stimme analysieren · Zusammenfassen

Sicherheit

Transkribieren

POST /v1/audio/transcriptions

Verwandelt eine Aufnahme in Text. Erkennt die Sprache von selbst.

Sie können diesen Dienst direkt nutzen, ohne Code zu schreiben, auf der Seite Studio: die Karte Audio transkribieren.

Die Antwort trägt den Header X-Audio-Duration mit den genauen Sekunden, die berechnet wurden.

Text zu Sprache

POST /v1/audio/speech

Sie können diesen Dienst direkt nutzen, ohne Code zu schreiben, auf der Seite Studio: die Karten Text zu digitaler Stimme (tts-1) und Text zu geklonter Stimme (tts-1-hd).

curl -X POST https://api.uttera.ai/v1/audio/speech \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"tts-1","input":"Your order ships tomorrow.","voice":"nova","response_format":"mp3"}' \
  --output voice.mp3

Welche Sprache gelesen wird, und wer entscheidet

Die Sprache legt nicht die Klangfarbe fest: sie wählt die Regeln, nach denen Text zu Klang wird. Sie falsch zu setzen klingt nicht “akzentuiert”, es klingt kaputt. Ein spanischer Text, mit englischen Regeln gelesen, kommt buchstäblich so heraus:

Mi Gasteria reservar una mesa para dues personas

Deshalb wird sie in drei Schritten aufgelöst, und Sie müssen selten darüber nachdenken:

Wann es sich lohnt zu senden: bei einer geklonten oder mehrsprachigen Stimme (sie haben keine eigene Sprache), oder wenn Sie bewusst möchten, dass eine Stimme eine andere Sprache als ihre eigene liest.

Das Stimmmuster: was hochladen

Eine Stimme zu klonen braucht ein Referenzmuster. Was am besten funktioniert:

Zu der Frage, wessen Stimme Sie klonen dürfen — die für den meisten Ärger sorgt — siehe den Rechtsrahmen: eine Stimme ist geschützt, und öffentliches Material ist keine Erlaubnis.

Drei Stimmen, nicht zwei

Dieselbe Route liefert drei verschiedene Dinge, und was entscheidet, welches, ist was Sie senden:

Das Muster wird als custom_voice_file in einem Multipart-Formular gesendet; ohne es geht die Anfrage als JSON. Das ist der ganze Unterschied zwischen dem Anfordern einer Katalogstimme in hoher Qualität und dem Klonen einer solchen.

Sie sprechen nicht dieselben Sprachen

Es ist der Unterschied, der die Leute am meisten überrascht, und er liegt nicht in der Klangfarbe:

Der Grund ist, dass es Engines unterschiedlicher Natur sind. Die Standard-Engine hat einen festen Stimmenkatalog, jede für ihre Sprache trainiert. Die hochwertige geht von einem Muster aus — deshalb kann sie klonen — und dieselbe Stimme liest jede der Sprachen, die sie kennt.

Mit tts-1-hd muss die Sprache nicht angegeben werden: sie wird aus dem Text erschlossen. Mit tts-1 spielt sie eine Rolle, weil die gewählte Stimme sie festlegt.

Zeilenumbrüche kosten Geld

Sprache wird pro erzeugter Sekunde abgerechnet, nicht pro Zeichen. Und ein Zeilenumbruch lässt die Engine eine Pause einfügen. Also kostet derselbe Text je nach Formatierung unterschiedlich, und es lohnt sich, das zu wissen, bevor die Rechnung Sie überrascht.

Gemessen mit demselben Satz achtmal wiederholt, wobei nur das dazwischen geändert wurde:

In einem echten Text ist der Unterschied nicht klein. La canción del pirata gibt mit seinen ~96 Zeilen allein 126 Sekunden für Pausen aus: etwas mehr als die Hälfte dessen, was das Synthetisieren des Ganzen kostet.

Wenn Sie die Pausen nicht möchten, entfernen Sie die Zeilenumbrüche, bevor Sie den Text senden: dieselben Wörter als ein durchlaufender Absatz kosten fast die Hälfte. Und wenn Sie sie doch möchten, wissen Sie jetzt, was sie wert sind.

Warum die Kette eine andere Zahl ergibt

Wenn Sie eine Audiodatei transkribieren und dann übersetzen, werden Sie sehen, dass die Sprache für die Übersetzung erheblich weniger kostet als die ursprüngliche Synthese desselben Textes. Es ist kein Abrechnungsfehler: die Erkennung gibt einen durchlaufenden Absatz zurück, ohne die Zeilenumbrüche des Originals. Dieser flache Text wird ohne Pausen synthetisiert und dauert deshalb — und kostet — weniger.

Anders gesagt: Zeilenumbrüche überstehen die Reise durchs Audio nicht. Wenn es Ihnen wichtig ist, sie zu behalten, bewahren Sie den Ausgangstext auf; aus dem Transkript lassen sie sich nicht wiederherstellen.

Den Cache abschalten, Anfrage für Anfrage

Manche Arbeit darf das Audio nicht einmal für eine Stunde auf fremder Platte liegen haben: medizinisches Diktat, juristische Notizen, eine persönliche Nachricht. Sie können den Cache selbst abschalten, bei jeder Anfrage, ohne uns um etwas zu bitten und ohne Ihr Konto zu ändern. Das Audio wird trotzdem erzeugt und Ihnen ausgeliefert; was nicht geschieht, ist, dass irgendetwas auf die Platte geschrieben oder von ihr gelesen wird.

Drei gleichwertige Wege, je nachdem, welcher Ihnen am besten passt:

# 1) Im JSON-Body
-d '{"model":"tts-1","input":"Private notes","voice":"nova","cache":false}'

# 2) Als Formularfeld (akzeptiert 0 / false / no / off)
-F input="Private notes" -F voice=nova -F cache=false

# 3) Mit dem guten alten HTTP-Header, ohne den Body anzufassen
-H "Cache-Control: no-cache"

Die Antwort sagt Ihnen stets, was getan wurde, damit Sie uns nicht beim Wort nehmen müssen:

Streaming: es hören, während es erzeugt wird

POST /v1/audio/speech/stream

Der normale Sprach-Endpunkt gibt Ihnen die Datei, wenn sie fertig ist. Dieser reicht sie Ihnen schon während der Erzeugung weiter, in Stücken, sodass der erste Ton fast sofort herauskommt, statt auf das letzte Wort zu warten.

Wenn Sie ein Telefonsystem bauen, einen Assistenten, der antwortet, oder irgendetwas, bei dem am anderen Ende eine Person wartet, ist das der Unterschied zwischen einem Gespräch und einer Warteschlange.

curl -N -X POST https://api.uttera.ai/v1/audio/speech/stream \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"tts-1","input":"Your order ships tomorrow.","voice":"nova","language":"en"}' \
  --output - | aplay

Das -N von curl ist wichtig: Ohne es puffert curl die Antwort, und Sie verlieren genau das, wofür Sie gekommen sind.

Übersetzen

The 50 languages you can write in: these are what translation accepts as INPUT.

• sq Albanian
• ar Arabic
• az Azerbaijani
• eu Basque
• bn Bengali
• bg Bulgarian
• ca Catalan
• zh-Hans Chinese (Simplified)
• zh-Hant Chinese (Traditional)
• cs Czech
• da Danish
• nl Dutch
• en English
• eo Esperanto
• et Estonian
• fi Finnish
• fr French
• gl Galician
• de German
• el Greek
• he Hebrew
• hi Hindi
• hu Hungarian
• id Indonesian
• ga Irish
• it Italian
• ja Japanese
• ko Korean
• ky Kyrgyz
• lv Latvian
• lt Lithuanian
• ms Malay
• nb Norwegian Bokmål
• fa Persian
• pl Polish
• pt Portuguese
• pt-BR Portuguese (Brazil)
• ro Romanian
• ru Russian
• sk Slovak
• sl Slovenian
• es Spanish
• sw Swahili
• sv Swedish
• tl Tagalog
• th Thai
• tr Turkish
• uk Ukrainian
• ur Urdu
• vi Vietnamese

And the 9 that can come back SPOKEN: for the rest, translation comes back as text. If you ask for audio in one without a voice, the request is rejected with 422 before spending anything.

• zh Chinese
• en English
• en-gb English (British)
• fr French
• hi Hindi
• it Italian
• ja Japanese
• pt Portuguese
• es Spanish

POST /v1/translate

Die vollständige Kette: Sie transkribiert das Audio, übersetzt den Text und synthetisiert ihn in der Zielsprache. Sie akzeptiert Audio- oder Texteingabe, aber nicht Text zu Text: Wenn Text hineingeht, muss die Ausgabe Audio enthalten.

Sie können diesen Dienst direkt, ohne Code zu schreiben, auf der Studio-Seite nutzen: die Karte Eine Aufnahme übersetzen.

curl -X POST "https://api.uttera.ai/v1/translate?target=en&response=both" \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -F file=@recording.mp3

Sie gibt source_text zurück, den übersetzten text und audio in base64 mit seinem audio_format. Außerdem source_language: Wenn Sie source nicht angegeben haben, trägt dieses Feld die von uns erkannte Sprache, nicht das Wort auto. Es lohnt sich, es zu lesen.

Die Stimme transponieren

Mit preserve_voice=1 wird die Übersetzung nicht in einer unserer Katalogstimmen gelesen: Sie wird in der eigenen Stimme des Sprechers gelesen. Dieselbe Aufnahme erledigt beide Aufgaben, Transkription und Klonen, sodass es nichts weiter hochzuladen gibt.

curl -X POST "https://api.uttera.ai/v1/translate?target=en&response=both&preserve_voice=1" \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -F file=@recording.mp3

Die Antwort trägt preserved_voice: true und voice: "original". Prüfen Sie es: So wissen Sie, ohne das Audio anzuhören, welches der beiden Produkte Ihnen geliefert wurde — denn sie kosten nicht dasselbe.

Im Inneren besteht der vollständige Ablauf aus drei Stufen bei einer einzigen Ihrer Anfragen:

Die Stimme analysieren

Drei Endpunkte über dasselbe Audio, jeder mit seinem eigenen Preis.

Sie können diese Analysen direkt, ohne Code zu schreiben, auf der Studio-Seite nutzen: Es sind Kästchen auf der Karte Audio transkribieren, angehakt über demselben Audio.

curl -X POST https://api.uttera.ai/v1/audio/diarize \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -F file=@recording.mp3

Entitäten und Schwärzung personenbezogener Daten

Zwei Vorgänge über den Text einer Transkription, nicht über das Audio. Deshalb laufen sie nach dem Transkribieren, nicht parallel zur Stimmanalyse.

Die Entitäten stammen von einem Modell, das mit der Sprache arbeitet, nicht von einer Wortliste. Die Schwärzung geht einen Schritt weiter: Zu dem, was das Modell markiert, fügt sie Validatoren hinzu, welche die Form jedes Datums prüfen, bevor sie es verdecken — die Prüfziffer einer spanischen DNI/NIE, die Modulo-97-Prüfung einer IBAN, den Luhn-Algorithmus einer Kartennummer —, um keine Zahl zu maskieren, die nur wie eine Karte aussieht, und keine durchzulassen, die es ist.

Sie werden auf zwei Arten angefordert: als Extra einer Transkription (?extras=entities,redact) oder innerhalb einer Zusammenfassung. Berechnet wird pro Textzeichen; die Einzelheiten stehen in der Koeffiziententabelle.

Eine Aufnahme zusammenfassen

POST /v1/summarize Startup und höher

Sie transkribiert, analysiert den Ton, erstellt ein Sprecherprofil, trennt die Sprecher und erzeugt aus alldem eine strukturierte Zusammenfassung. Die vier zugrunde liegenden Dienste laufen parallel, sodass die Wartezeit die des langsamsten ist, nicht die Summe.

Sie können diesen Dienst direkt, ohne Code zu schreiben, auf der Studio-Seite nutzen: Es ist ein weiteres Kästchen auf der Karte Audio transkribieren.

Sie gibt summary, transcript, enrichment und einen usage-Block mit den nach Stufen aufgeschlüsselten Credits zurück — mit einer ner-Zeile, wenn Sie Entitäten oder Schwärzung angefordert haben. Je nach Anforderung bringt sie zusätzlich entities, die redacted-Markierung oder das chapters-Array.

Kapitel

Mit ?chapters=1 bringt die Zusammenfassung zusätzlich ein chapters-Array. Jedes Kapitel trägt start (die Sekunde, in der es beginnt), title und summary — damit Sie durch eine lange Aufnahme springen können, ohne sie ganz anzuhören.

Sie werden im selben Durchgang wie die Zusammenfassung berechnet: Es ist kein zweiter Aufruf des Modells, und das Transkript wird nicht erneut gesendet, sodass ihre Kosten ein paar zusätzliche Ausgabe-Tokens sind, ohne eigenen Koeffizienten.

Verifizierbarer Bericht

Mit ?mode=intelligence wird die Zusammenfassung zu einem überprüfbaren Bericht: sie klassifiziert die Aufnahme, gliedert sie in Abschnitte und extrahiert einen Beweisgraphen, der jede Aussage an ihr Zitat, ihren Sprecher und ihre Minute verankert; mit ?report=pdf kommt sie als signiertes PDF. Es ist der unverwechselbare Dienst von Uttera und wird vollständig —was es ist, wie die Verankerung funktioniert, Parameter und Beispiele— in seinem eigenen Kapitel erklärt: Verifizierbarer Bericht.

Asynchroner Modus

Die tiefgreifendsten Audio-Analysen dauern länger, als eine einzelne HTTP-Verbindung halten kann. Genau dafür ist der asynchrone Modus da: Sie fügen Ihrer /v1/summarize-Anfrage ?async=1 hinzu und erhalten, statt zu warten, sofort eine job_id. Der Auftrag läuft im Hintergrund, und Sie holen das Ergebnis per Abfrage ab, oder wir liefern es an einen Webhook. Es funktioniert mit allen Optionen, die Sie bereits kennen (mode=intelligence, report=pdf, redact, language, chapters…): sie werden bei der Verarbeitung unverändert erneut angewendet.

1. Auftrag absenden. Wie eine normale Zusammenfassung, aber mit async=1:

curl -X POST "https://api.uttera.ai/v1/summarize?mode=intelligence&report=pdf&async=1" \
  -H "Authorization: Bearer $UTTERA_API_KEY" \
  -F "file=@besprechung.mp3"

Antwort 202 Accepted:

{ "job_id": "9e7220186fa76062295e767ea856e9b7",
  "status": "queued",
  "poll": "/v1/jobs/9e7220186fa76062295e767ea856e9b7" }

2. Abholen. Fragen Sie GET /v1/jobs/<job_id> mit demselben Schlüssel ab:

curl "https://api.uttera.ai/v1/jobs/9e7220186fa76062295e767ea856e9b7" \
  -H "Authorization: Bearer $UTTERA_API_KEY"

Webhook (optional). Wenn Sie in Schritt 1 &webhook=https://ihr-server/uttera hinzufügen, machen wir, sobald der Auftrag fertig ist, einen POST an diese URL mit dem Ergebnis im Rumpf. Wir wiederholen nach 1 Min, 5 Min, 30 Min, 2 Std und 6 Std; sind sie erschöpft, wartet das Ergebnis weiter beim GET bis zu den 24 Stunden. Eine erfolgreiche Zustellung (eine 2xx-Antwort) zählt als Abholung und löscht das Ergebnis.

Jeder Webhook-POST ist signiert, damit Sie prüfen können, dass er von uns stammt:

Der Signierschlüssel wird aus Ihrem API-Schlüssel abgeleitet (er reist nie mit): er ist HMAC-SHA256(ihr_api_schlüssel, "uttera-webhook-v1") in Hexadezimal. Zum Prüfen: berechnen Sie diesen Schlüssel, bilden Sie HMAC-SHA256(schlüssel, empfangener_rumpf) und vergleichen Sie es mit der Signatur im Header.

# den Webhook prüfen (Python)
import hmac, hashlib
secret = hmac.new(API_KEY.encode(), b"uttera-webhook-v1", hashlib.sha256).hexdigest()
erwartet = "sha256=" + hmac.new(bytes.fromhex(secret), rumpf_bytes, hashlib.sha256).hexdigest()
assert hmac.compare_digest(erwartet, header_X_Uttera_Signature)

Tokens bei Ihrem LLM sparen

Das ist die Nutzung der Zusammenfassung, die die wenigsten sehen und die am meisten Geld spart. Wenn Sie möchten, dass ein Sprachmodell eines anderen Anbieters — Claude, GPT, Gemini, welches auch immer — mit dem arbeitet, was in einem Anruf gesagt wurde, ist der teure Weg, ihm das ganze Transkript zu senden. Der günstige ist, ihm die Zusammenfassung zu senden.

Gemessen an einer echten 70-minütigen Aufnahme abwechslungsreicher Prosa, gezählt mit dem o200k_base-Tokenizer:

Es ist als Spanne angegeben, weil die Zusammenfassung nicht deterministisch ist: Dieselbe Aufnahme, zweimal ausgeführt, ergab 484 und 673 Tokens. Zwischen 20- und 30-mal weniger Eingabe-Tokens, und die Ersparnis wächst mit der Dauer: Das Transkript wächst geradlinig mit den Minuten der Aufnahme, die Zusammenfassung nicht — sie bleibt bei ein paar hundert Tokens. Bei einer kurzen Aufnahme macht es keinen Unterschied; bei einem Archiv von Anrufen ist es der Unterschied zwischen einer LLM-Rechnung, die Sie zahlen können, und einer, die Sie nicht zahlen können.

Die Antwort liefert summary und transcript im selben Aufruf, sodass Sie nicht im Voraus wählen oder doppelt zahlen müssen: Sie entscheiden in Ihrem Code, welches der beiden zum LLM hochgeht.

Es gibt ein vollständiges, ausführbares Beispiel — hier zusammenfassen, nur die Zusammenfassung an das LLM senden und die eingesparten Tokens zählen — in uttera-examples/llm-tokens.