Meta hat die Gewichte von Muse Spark Open veröffentlicht und das KI-Modell für den Mac Studio mit M5 Ultra optimiert. Mit Apples MLX lässt es sich lokal auf mehreren Geräten ausführen.

Muse Spark Open verarbeitet unterschiedliche Arten von Inhalten. Meta nennt 816 Milliarden Parameter insgesamt, davon 42 Milliarden aktive Parameter. Das Kontextfenster fasst eine Million Token. Die Gewichte sind über Hugging Face verfügbar.

Laut Meta können zwei Mac Studios das vollständige Modell gemeinsam im Speicher halten. Für die 4-Bit-Fassung wird in einem aktuellen Bericht ein Speicherbedarf von 493 GB genannt. Zur Ausführung werden mindestens zwei Mac Studios mit M5 Ultra benötigt.

Apples Tests mit MLX

Apple hat den Betrieb auf einzelnen und verbundenen Mac Studios untersucht. Beim M5 Ultra ist die Zeit bis zum ersten Token laut Apple bis zu 4,6-mal kürzer als beim M3 Ultra. Bei der anschließenden Token-Erzeugung nennt Apple einen Faktor von 1,6 gegenüber dem M4 Ultra.

MLX unterstützt die Verteilung großer Modelle auf mehrere Geräte über Thunderbolt 5 und RDMA. Bei sehr großen Kontexten verkürzt das die Zeit bis zum ersten Token laut Apples Tests um bis zum Faktor 1,8.

Meta demonstrierte zudem Abläufe, die vollständig auf den Geräten liefen. Dazu gehörten Änderungen an der iOS-App Ice Cubes und Videobearbeitung mit DaVinci Resolve.

Die Verbindung mehrerer Mac Studios für KI-Aufgaben war bereits Thema unserer früheren Berichterstattung. Muse Spark Open liefert nun ein konkretes Modell für diesen Einsatz und neue Messwerte zum verteilten Betrieb.

Quellen:
Meta
Apple Machine Learning Research
Meta auf Hugging Face