Wie Siri AI erkennt, was wir wirklich meinen

„Spiel etwas Ruhiges.“ „Mach den Bildschirm ein bisschen dunkler.“ „Zeig mir Fotos von meinem Hund am Strand.“

Für Menschen sind solche Sätze leicht zu verstehen. Für einen Sprachassistenten sind sie erstaunlich schwierig. Es fehlen genaue Befehle, Namen von Apps und manchmal sogar wichtige Wörter. Trotzdem erwarten wir, dass Siri weiß, was gemeint ist.

Mit Siri AI will Apple dieses Problem besser lösen unter Verwendung von Apple Intelligence. Einfache Aufgaben werden möglichst direkt auf dem iPhone, iPad oder Mac verarbeitet. Für schwierigere Anfragen kann Apple größere Modelle auf besonders geschützten Servern einsetzen. Doch selbst ein leistungsfähiges KI-Modell muss zunächst erkennen, was ein Mensch eigentlich möchte.

Das alte Problem mit den richtigen Wörtern

Klassische Sprachsteuerungen arbeiteten häufig mit Schlüsselwörtern. Tauchten in einem Satz Begriffe wie „Musik“, „Song“ und „abspielen“ auf, war vermutlich die Musik-App gemeint. Bei Wörtern wie „Karte“, „Route“ oder „Adresse“ lag die Karten-App nahe.

Dieses Verfahren funktioniert, solange Menschen die erwarteten Begriffe verwenden. In der Praxis sprechen sie jedoch sehr unterschiedlich.

Eine Person sagt: „Spiele Musik zum Entspannen.“ Eine andere bittet: „Ich hätte gern etwas Ruhiges.“ Eine dritte sagt nur: „Mach mal eine entspannte Stimmung.“

Alle drei Wünsche können fast dasselbe bedeuten. Trotzdem enthalten nur einige davon das Schlüsselwort „Musik“. Ein System, das lediglich nach einer festen Wortliste sucht, kann den Zusammenhang leicht übersehen.

Bei ganzen Sätzen wird das Problem noch größer. „Wie stelle ich mein Display dunkler?“ bedeutet fast dasselbe wie „Der Bildschirm ist mir zu hell“. Die verwendeten Wörter unterscheiden sich aber deutlich. Eine einfache Suche findet deshalb vielleicht keinen passenden Eintrag in der Hilfe. Außerdem muss Siri entscheiden, welche App überhaupt zuständig ist.

Bedeutung als Zahlenreihe

Hier kommen sogenannte Embeddings ins Spiel. Der englische Begriff lässt sich ungefähr mit „Einbettungen“ übersetzen. Gemeint ist eine mathematische Darstellung von Sprache.

Ein Embedding verwandelt ein Wort oder einen Satz in eine lange Reihe von Zahlen. Diese Zahlen beschreiben nicht die Schreibweise, sondern bestimmte Merkmale der Bedeutung. Man kann sich das wie eine riesige Landkarte vorstellen: Wörter und Sätze mit ähnlicher Bedeutung liegen nah beieinander. Begriffe ohne Zusammenhang befinden sich weiter voneinander entfernt.

Auf dieser Landkarte würden etwa „Auto“, „Wagen“ und „Fahrzeug“ eine kleine Gruppe bilden. „Apfel“ läge vermutlich näher bei „Obst“ als bei „Schraubenzieher“. Bei Sätzen funktioniert das ähnlich. „Wo bleibt meine Bestellung?“ kann sehr nah bei „Wie prüfe ich den Lieferstatus?“ liegen, obwohl beide Sätze kaum dieselben Wörter verwenden.

Der Computer versteht Bedeutung dabei nicht so wie ein Mensch. Er kann aber den mathematischen Abstand zwischen zwei Zahlenreihen berechnen. Je kleiner dieser Abstand ist, desto ähnlicher ist normalerweise der Inhalt.

Apple erklärt das Prinzip in seiner Entwickler-Dokumentation am Beispiel einer Fotosuche: Wer nach „Wolke“ sucht, könnte auch Bilder finden, die mit „Himmel“ beschrieben wurden. Außerdem können Satz-Embeddings erkennen, dass eine Frage aus einer App inhaltlich zu einem bestimmten Hilfetext passt. Die technische Beschreibung steht in Apples Natural-Language-Dokumentation.

Von der Sprache zur passenden Aktion

Für Siri AI sind solche Bedeutungsvergleiche besonders nützlich. Das System kann eine frei formulierte Anfrage mit den bekannten Fähigkeiten von Apps vergleichen.

Nehmen wir den Satz: „Mach das Foto etwas wärmer.“ Siri muss erkennen, dass es um Bildbearbeitung geht. Dann muss das System eine App finden, die Farbtemperatur oder Filter verändern kann. Schließlich müssen das Foto und der gewünschte Arbeitsschritt an diese App übergeben werden.

Entwickler beschreiben dafür mit App Intents, welche Inhalte und Aktionen ihre Programme anbieten. Eine App kann zum Beispiel mitteilen: „Ich kann Nachrichten senden“, „Ich kann Termine anlegen“ oder „Ich kann Fotos bearbeiten“. Siri übernimmt das Verstehen der natürlichen Sprache und verbindet die Anfrage mit einer passenden Aktion.

Dadurch müssen Entwickler nicht mehr jede denkbare Formulierung vorher aufschreiben. Sie müssen also keine lange Liste wie „spiele“, „starte“, „höre“, „mach Musik an“ und „gib mir einen Song“ pflegen. Apple sagt, dass neue App-Schemas ohne festgelegte Sprechsätze auskommen. Wenn sich Siris Sprachverständnis verbessert, müssen Apps dafür nicht jedes Mal angepasst werden. Apple erläutert dieses Zusammenspiel in einer WWDC-Sitzung zu App Schemas.

Embeddings helfen auch bei der Auswahl von Inhalten. Eine Nachrichten-App könnte Beiträge zum Thema „Urlaub in Italien“ finden, obwohl in manchen Nachrichten nur von „Rom“, „Toskana“ oder „Ferien am Mittelmeer“ die Rede ist. Eine Kalender-App könnte verstehen, welcher Termin mit „mein Treffen über das neue Büro“ gemeint ist.

Hilfe finden, ohne den Fachbegriff zu kennen

Besonders praktisch ist die Technik bei Hilfefunktionen. Anwender kennen oft nicht den Namen der Einstellung, die sie suchen.

Wer schreibt: „Abends blendet mich mein iPhone“, sucht möglicherweise nach der Bildschirmhelligkeit, dem Dunkelmodus oder Night Shift. Eine klassische Stichwortsuche könnte scheitern, weil keiner dieser Begriffe im Satz vorkommt.

Mit Embeddings kann eine App die Beschreibung des Problems mit vorhandenen Anleitungen vergleichen. Die ähnlichsten Texte erscheinen zuerst. So könnte das System Anleitungen wie „Bildschirmhelligkeit ändern“ oder „Night Shift aktivieren“ vorschlagen.

Die App muss dabei nicht unbedingt eine vollständige Antwort selbst erzeugen. Oft reicht es schon, den richtigen vorhandenen Inhalt zu finden. Das kann schneller, verlässlicher und leichter zu prüfen sein als eine frei erfundene KI-Antwort.

Nicht nur für Siri

Die wichtige Neuerung besteht darin, dass semantisches Verstehen nicht auf Siri beschränkt bleibt. Apple stellt Entwicklern entsprechende Funktionen in seinen System-Frameworks zur Verfügung.

Über das Natural-Language-Framework können Apps Embeddings für Wörter und Sätze verwenden. Sie können Abstände zwischen Formulierungen berechnen und eigene Inhalte nach ihrer Bedeutung durchsuchen. Über App Intents und den semantischen Index von Spotlight lassen sich Inhalte und Aktionen zusätzlich für Apple Intelligence und Siri AI bereitstellen.

Damit kann eine Koch-App ähnliche Rezepte finden, eine Support-App passende Anleitungen vorschlagen oder eine Mediathek thematisch verwandte Filme anzeigen. Die Verarbeitung lässt sich in vielen Fällen direkt auf dem Gerät erledigen. Entwickler benötigen dafür nicht zwingend einen großen KI-Server.

Embeddings lösen nicht jedes Problem. Doppeldeutige Sätze bleiben schwierig, und ein kleiner mathematischer Abstand bedeutet nicht immer, dass zwei Texte wirklich dasselbe meinen. Apps müssen deshalb weiterhin prüfen, welche Aktionen sicher sind und wann eine Rückfrage nötig ist.

Trotzdem verändert die Technik grundlegend, wie Computer auf Sprache reagieren. Entscheidend wird, was die Wörter wahrscheinlich bedeuten. Genau dadurch kann sich Siri AI weniger wie eine starre Sprachfernbedienung und mehr wie ein Assistent anfühlen, der auch dann weiterkommt, wenn wir nicht den „richtigen“ Befehl kennen.

Was ich bei der Recherche zu diesem Thema besonders bemerkenswert fand: Apple benutzt hier eine allgemeine Systemfunktion. Jede App kann es nutzen. Die Beispiele, die Apple in der Dokumentation anführt, sind simpel. Auf diese Weise profitiert die ganze Plattform davon.