Quantisierte Modelle: der Schlüssel zum Ausführen von KI im Browser

Es gibt ein altes Versprechen rund um künstliche Intelligenz im Front-End: die Ausführung des Modells direkt auf dem Gerät des Benutzers, ohne Server, ohne Netzwerklatenz, ohne Kosten pro Anfrage. Dieses Versprechen stieß lange Zeit auf ein unscheinbares Detail. Die Modelle waren zu groß und zu langsam für die Hardware, die die Leute in ihren Händen hatten.

Das bahnbrechende Teil ist keine neue Architektur oder ein magischer Chip. Es handelt sich um eine Komprimierungstechnik namens Quantisierung. Es wird weniger diskutiert, als es verdient, und es ist wahrscheinlich das wichtigste Konzept für jeden technischen Leiter, der In-Browser-KI bewertet. Es lohnt sich zu verstehen, was es bewirkt, was es kostet und wann es sich nicht mehr lohnt.

Was ist Quantisierung, ganz klar

Ein KI-Modell besteht im Kern aus einer Reihe von Zahlen. Diese Zahlen, die Gewichte, wurden während des Trainings angepasst und definieren, wie das Modell reagiert. Die Frage ist, wie viele Bits Sie zum Speichern jeder dieser Zahlen verwenden.

Der historische Trainingsstandard ist 32-Bit-Gleitkomma. Jedes Gewicht belegt vier Bytes und verfügt über eine großzügige numerische Präzision. Quantisieren bedeutet, dieselben Gewichte mit weniger Bits darzustellen: 16, 8, manchmal 4. Sie tauschen ein Lineal mit Millimetern gegen ein Lineal mit dickeren Markierungen aus.

Die direkte Konsequenz ist die Arithmetik. Durch die Umstellung von 32 auf 8 Bit wird die Größe des Modells um den Faktor vier reduziert. Aus einem 400-Megabyte-Modell wird ein 100-Megabyte-Modell. Und da weniger Daten zwischen Speicher und Prozessor verschoben werden müssen, beschleunigt sich auch die Inferenz. Weniger zu ladende Bits, weniger zu multiplizierende Bits, schnellere Reaktion.

Warum ist das im Browser so wichtig?

Der Browser ist eine beengte Umgebung. Sie haben keine Kontrolle über das Gerät des Benutzers, der verfügbare Speicher ist begrenzt und jedes heruntergeladene Megabyte bedeutet Wartezeit in einem Tab, den die Person jederzeit schließen kann. Ein Halb-Gigabyte-Modell ist in der Praxis nicht realisierbar, selbst wenn es technisch läuft.

Die Quantisierung greift genau diese beiden Engpässe an: Downloadgröße und Speicherverbrauch während der Ausführung. Ein kleiner Transformator, der bei voller Präzision zu schwer wäre, um ihn auf einer Seite zu öffnen, wird budgetfreundlich, wenn er auf 8 oder 4 Bit reduziert wird. Es ist der Unterschied zwischen einem Laborexperiment und etwas, das Sie in einem echten Produkt durchführen.

Es gibt auch Auswirkungen auf die Hardware. Viele moderne Prozessoren, darunter auch die in Mobiltelefonen, verfügen über Befehle, die für Operationen mit 8-Bit-Ganzzahlen optimiert sind. Ein quantisiertes Modell nimmt nicht nur weniger Platz ein, es spricht auch besser mit dem Silizium an, das die meisten Menschen in ihren Taschen tragen. Dies hängt direkt mit dem Argument zusammen, dass KI lokal auf dem Gerät ausgeführt wird: Datenschutz, da die Daten das Gerät nicht verlassen, keine Serverkosten, da das Konto auf dem Client ausgeführt wird.

Der Kompromiss, den niemand ignorieren kann

Es gibt kein kostenloses Mittagessen. Wenn Sie zum Speichern einer Zahl weniger Bits verwenden, geht die Auflösung verloren. Zwei Gewichte, die in 32 Bit leicht unterschiedlich waren, können in 8 Bit den gleichen Wert annehmen. Diese Rundung akkumuliert sich über alle Schichten des Modells und macht sich in der Antwort als Qualitätsabfall bemerkbar.

Die gute Nachricht und der Grund dafür, dass sich die Technik durchgesetzt hat, ist, dass der Verlust normalerweise gering ist. Bei vielen Aufgaben ist der Unterschied zwischen dem Vollpräzisionsmodell und dem 8-Bit-Modell für den Endbenutzer kaum wahrnehmbar. Die Modelle verfügen über eine großzügige Redundanz bei den Gewichten, und wenn ein Teil dieser Präzision weggeworfen wird, wird das Gesamtverhalten selten beeinträchtigt.

Der Zählerstand ändert sich, wenn Sie drücken. Von 32 bis 16 Bit ist der Verlust im Allgemeinen vernachlässigbar. Von 16 bis 8 ist es in den meisten Fällen immer noch sicher. Bei 4 Bit betreten Sie das Terrain, in dem je nach Aufgabe eine Verschlechterung auftritt und intelligentere Quantisierungstechniken einen echten Unterschied machen. Je aggressiver die Komprimierung, desto mehr hängt das Ergebnis von der sorgfältigen Quantisierung und nicht vom Kick ab.

Nicht jede Quantisierung ist gleich

Es lohnt sich, zwei Wege zu unterscheiden, da sie unterschiedliche Auswirkungen auf diejenigen haben, die sich entscheiden. Eine besteht darin, nach dem Training zu quantifizieren, ein vorgefertigtes Modell zu nehmen und die Präzision der Gewichte zu reduzieren. Es ist günstig, schnell und funktioniert in den meisten Fällen überraschend gut.

Die andere besteht darin, das Modell während des Trainings selbst auf die Quantisierung vorzubereiten und dem Netzwerk schon in jungen Jahren beizubringen, mit reduzierter Präzision zu leben. Es erfordert mehr Arbeit und kostet mehr, liefert aber in aggressiven Modi wie 4 Bit eine bessere Qualität. Für die meisten Browserszenarien reicht der erste Ansatz aus. Der zweite Schritt kommt ins Spiel, wenn Sie das Beste aus Ihrer Arbeit herausholen möchten, ohne auf Ergebnisse zu verzichten.

Die praktische Lektion ist, dass der Ausdruck „quantisiertes Modell“ nicht alles sagt. Zwei 8-Bit-Modelle können sehr unterschiedliche Qualitäten aufweisen, je nachdem, wie sie quantisiert wurden, welche Schichten mit höherer Präzision erhalten blieben und wie die Werte kalibriert wurden. Fragen Sie bei der Bewertung einer Option, wie sie quantisiert wurde, und nicht nur, wie viele Bits.

Wann es sich lohnt und wann nicht

Die Quantisierung zahlt sich aus, wenn die Aufgabe eine Fehlertoleranz zulässt und der Realisierbarkeitsgewinn groß ist. Textklassifizierung, semantische Suche, Absichtserkennung, Vorschläge, leichte Transkription, anfängliche Moderation. Dies sind Fälle, in denen ein geringfügiger Rückgang der Genauigkeit das Erlebnis nicht verändert, die Ausführung auf dem Client jedoch alles in Bezug auf Kosten, Latenz und Datenschutz verändert.

Das lohnt sich nicht, wenn es auf Präzision ankommt. Berechnungen, bei denen sich eine kleine Abweichung ausbreitet und das Ergebnis verunreinigt, Entscheidungen mit direkten regulatorischen oder finanziellen Konsequenzen, Aufgaben, bei denen der Unterschied zwischen sicher und fast sicher kostspielig ist. In diesen Fällen kompensieren die Einsparungen durch die Ausführung im Browser nicht das Risiko einer Verschlechterung, und der Server mit einem Full-Precision-Modell bleibt die nüchterne Wahl.

Der häufige Fehler besteht darin, die Quantisierung als binäres Ein- oder Ausschalten zu betrachten. Es ist eine Lautstärketaste. Sie wählen den Punkt auf der Kurve zwischen Größe, Geschwindigkeit und Qualität, der Ihrer Aufgabe entspricht. Die richtige Entscheidung ist selten das Extrem, es ist der Punkt, an dem der Benutzer den Verlust nicht bemerkt und Sie den Gewinn ernten. Diese Argumentation passt in eine umfassendere Vision der browserinternen KI mit lokaler Inferenz, bei der die Komprimierung das Konto schließbar macht.

Das Wesentliche

Quantisierung ist kein Trick hinter den Kulissen, sondern die Bedingung, die die KI im Browser praktisch und nicht theoretisch macht. Es reduziert die numerische Präzision der Gewichte, um das Modell zu verkleinern und die Schlussfolgerung zu beschleunigen, mit einem Qualitätsverlust, der, wenn er gut gemacht wird, zu gering ist, um störend zu sein.

Für diejenigen, die sich für Architektur entscheiden, besteht die Aufgabe nicht darin, Teile zu dekorieren. Es geht darum, zu erkennen, dass es eine Kompromisskurve gibt, zu verstehen, wo Ihre Aufgabe darauf basiert, und die tatsächliche Qualität zu messen, bevor Sie beginnen. Die Frage ist nie, ob die Quantisierung das Modell verschlechtert. Es geht darum, ob diese Verschlechterung für das, was Sie bauen, von Bedeutung ist.

Wenn Sie die lokale KI in Ihrem Produkt evaluieren, lohnt es sich, klein anzufangen: Übernehmen Sie eine nachsichtige Aufgabe, testen Sie ein quantisiertes Modell auf dem Gerät der niedrigsten Preisklasse, das Sie unterstützen möchten, und messen Sie, bevor Sie sich verpflichten. Überraschung ist normalerweise angenehm.