Qwen liebt Dich (und Deinen Mac)

Dies ist der zweite Teil einer kleinen Serie über Apples zartem Flirt mit Qwen, einem chinesischen Modell. Eigentlich wollte ich den zweiten Teil nur dann schreiben, wenn sich irgendein Interesse der werten Leserschaft erkennen lässt. Aber die eigene Begeisterung hat mich fortgerissen. Es ist mir selber peinlich.

Qwen ist ein KI-Modell, das als Open-Source verfügbar ist, in verschiedenen Größen. Je größer, desto schlauer.

Interessant ist dabei, wie sich die Größe bei jeder neuen Version immer weiter reduziert, während die Intelligenz dennoch steigt. Irgendwann wird es so kompakt und dennoch so nützlich sein, dass die KI-Revolution auf dem Desktop losbricht. Das Beste: Es wird kostenlos sein.

Das ist kein Zukunftsgeraune. Es könnte jeden Monat geschehen. Nerds und mutige Zeitgenossen können es heute schon benutzen. Wir sind ganz dicht davor.

Warum ich das sicher weiß: Die Qwen-Modelle wurden von Entwicklern und Nerds bereits über drei Milliarden mal geladen. Über 300.000 Modelle wurden davon abgeleitet, d.h. die Entwickler haben eigene Versionen gebastelt. Das ist kein Forschungsprojekt von ein paar Einsteins mit wirren Frisuren hinter verschlossenen Türen.

Größe macht einen Unterschied

Zunächst sollte man sich daran erinnern, wie es vor kurzem aussah. Halbwegs nützliche Modelle verbrauchten so viel Speicher, dass es für normale Anwender nicht in Betracht kam. Die Dateien wurden nicht in Gigabytes gemessen, sondern in Terabytes. Das ist für die ganz großen Modelle immer noch so. Allerdings: Macs mit 2 oder 4 Terabytes (und sei es angeschlossen per Thunderbolt) sind keineswegs selten. Die Frage ist nur, ob man der KI so viel davon gönnt.

Anschließend stellt sich die Frage nach dem RAM. Muss man das komplette Modell in den RAM laden? Es galt als Sensation, als man erstmals mit 64 GB RAM auskam. Dadurch passte es haarscharf in ein MacBook Pro. Ein Laptop!

Das war die Vergangenheit. Heute sieht es viel besser aus. Das neueste Modell von Qwen benötigt 55 Gigabyte auf der SSD. Ja, das ist viel, aber machbar. Ich kenne Leute, die haben 55 Gigabyte Pornos auf der SSD.

Es gibt eine kleinere Variante dieses Modells, das nur 16 Gigabyte auf der SSD benötigt. Zum Vergleich: Eine ReLive-Sendung von Mac-TV braucht zwischen 7 und 8 GB. Das ist eine Größe, die man jedem interessierten Anwender zumuten kann. Adobe-Nutzer schreckt das sowieso nicht: Bereits die AGBs benötigen dort mehr.

Man spürt förmlich, wie die Revolution immer näher kommt. Die Frage ist nicht mehr, ob man es überhaupt in einen normalen Computer quetschen kann, sondern eher, wie schnell der Computer rechnet. Was bekommt man? Was kann das Ding?

Was kann das Ding?

Das neueste Modell Qwen 3.8 kann Bilder und Videos verarbeiten (auswerten) und Bilder erzeugen. Es beherrscht »Reasoning«, d.h. es denkt nach, bevor es eine Antwort auswirft. Kein Modell von Apple beherrscht Reasoning. Es ist also eine ganz andere Generation als Apples eigene Modelle. Vermutlich ist das der wichtigste Grund, warum manche Anwender von KI begeistert sind, während es andere kalt lässt. Die einen verwenden ein Modell mit »Reasoning«, die anderen ohne. Es ist ein Unterschied wie Tag und Nacht.

Das Modell erlaubt eine Eingabe (»Context«) von bis zu 250.000 Tokens. Das sind die Daten, die man dem Modell geben kann, beispielsweise ein PDF, das es durchsuchen soll, oder einen Haufen Mails, oder auch sehr ausführliche Anweisungen. Apples lokale Modelle schaffen nur mickrige 4.000 Tokens, und das ist der Grund dafür, warum sie so wenig können. Mit 4.000 Tokens kann ein KI-Modell nichtmal diesen Artikel lesen und verstehen.

Es kann Werkzeuge bedienen (»Tool Use«). Da ist eine sehr wichtige Sache. Ihm stehen damit all die kleinen UNIX-Kommandos zur Verfügung, die der Mac bietet. Das klingt vielleicht nebulös, aber das macht den Unterschied zwischen einem Modell, das nur quasselt, und einem Modell, das Aufgaben selbst erledigen kann. Riesig!

Und es kann programmieren. Es programmiert die Software, die man gerade braucht, nach eigenen Vorstellungen. Oder es setzt eine Webseite auf, komplett mit Datenbank und allem drum und dran.

Unterm Strich: Qwen 3.8 ist ein sehr leistungsfähiges Modell. Sogar leistungsfähiger, als es selbst die ganz großen Modelle noch vor kurzem waren. Und all das in kompakten 17 GB auf der SSD und im RAM.

Und nochmal: Es ist kostenlos.

Der Nachteil: Es ist sehr viel langsamer als ein Modell, das mit der Kraft eines ganzen Rechenzentrums angetrieben wird. Aber auch hier sind Fortschritte zu erwarten. Man kann noch vieles optimieren.

Meilenstiefel

Ein derart leistungsfähiges Modell in nur 17 GB (oder 55 GB) ist ein spektakulärer Durchbruch. Aber es folgt einer vorhersagbaren Kurve: Die nächsten Durchbrüche werden kommen, schon bald.

Müsste Apple nicht interessiert daran sein, eine Partnerschaft mit Qwen einzugehen, oder mit Alibaba, der Firma, die es herstellt? Oder geht das nicht, weil es aus China kommt? Aber die iPhones kommen ja ebenfalls aus China.

Apples Hardware passt perfekt zu einer lokalen KI. Die Modelle brauchen viel RAM, große GPUs mit direktem Zugriff auf diesen RAM, und eine hohe Bandbreite für den Transport der Daten. Apple hat all das — nur leider derzeit den RAM nicht.

Was noch fehlt ist die Software, die alles einfach macht: Eine gute Integration in macOS, eine simple App für den Anwender, offene Schnittstellen für Entwickler.

Oder vielleicht basteln die Leute von Qwen eine solche App einfach selbst? Man installiert alles mit einem Klick, und schon geht’s los.

Würdest Du eine solche App installieren?