On Tour @ #codetalks – Transformers.js, WebGPU und lokale KI-Modelle. Mit Nico Martin.

Wir haben uns auf der code.talks in Hamburg mit Nico Martin zusammengesetzt, den ihr auch auf LinkedIn und YouTube findet. Nico war bereits 2022 bei uns zu Gast, damals ging es um WebBluetooth, WebUSB und WebNFC. Diesmal sprechen wir über KI direkt im Browser: Wie können wir Machine-Learning-Modelle ohne Server ausführen, welche Möglichkeiten ergeben sich daraus für Webanwendungen und wo liegen aktuell noch die Grenzen? Nico arbeitet an Transformers.js und zeigt uns anhand seiner Konferenz-Demos, was heute schon möglich ist.

Im Anschluss gibt es noch ein spontanes Bonusgespräch mit zwei jungen Konferenzbesuchern. Wir diskutieren über Vibe Coding, Agentic Engineering, den Einsatz von KI im Studium und im Berufsalltag sowie darüber, wie sich der Einstieg in die Softwareentwicklung durch KI verändert.

Shownotes

[00:00:27] KI im Browser mit Transformers.js Wir sprechen mit Nico darüber, was es bedeutet, Machine-Learning-Modelle direkt im Browser auszuführen. Statt Eingaben an einen Server zu schicken, laden wir die Modelle auf das Endgerät und führen dort die Inferenz aus. Das ermöglicht Offline-Anwendungen, reduziert die Übertragung sensibler Daten und kann Serverkosten sparen. Als Beispiel stellt Nico seinen Kitchen Assistant vor, der Rezepte als strukturierte JSON-Daten generiert und über eine Kombination aus Speech-to-Text, Large Language Model und Text-to-Speech eine gesprochene Unterhaltung ermöglicht. Sämtliche Verarbeitungsschritte laufen dabei lokal im Browser. Technische Grundlage dafür ist Transformers.js, an dem Nico mitarbeitet. Die Library übernimmt das Pre- und Post-Processing für unterschiedliche Eingabeformate wie Text, Audio und Bilder. Für die eigentlichen Berechnungen kommt ONNX Runtime zum Einsatz, die Modelle im standardisierten ONNX-Format ausführt.Eine große Herausforderung bleibt die Größe der Modelle. Selbst kleinere LLMs mit mehreren Milliarden Parametern benötigen schnell mehrere Gigabyte Speicherplatz. Mit Quantisierung auf acht oder vier Bit lässt sich der Speicherbedarf reduzieren, doch für viele Webanwendungen bleibt der Download zu umfangreich. Deshalb schauen wir uns kleinere, spezialisierte Modelle an: Voice Activity Detection, Spracherkennung mit Whisper, Hintergrundentfernung, Tiefenschätzung und Objekterkennung. Ein Modell zur Erkennung von Sprachaktivität benötigt beispielsweise nur 2,2 Megabyte. Nico beschreibt außerdem eine Anwendung zur digitalen Identitätsprüfung, bei der ein kleines Modell bereits im Browser erkennt, ob ein fotografiertes Ausweisdokument den Anforderungen entspricht. Dadurch lassen sich ungeeignete Aufnahmen aussortieren, bevor sie den Server erreichen. Für die Performance spielt WebGPU eine entscheidende Rolle, weil ONNX Runtime damit die Grafikhardware des Endgeräts nutzen kann. Nico demonstriert ein Gemma-Modell mit zwei Milliarden Parametern, das auf seinem MacBook Pro ungefähr 30 Tokens pro Sekunde generiert. Auf älteren Geräten fällt die Geschwindigkeit allerdings deutlich geringer aus.

Besonders interessant finden wir die Möglichkeit, semantische Suchfunktionen vollständig im Browser umzusetzen. Nico zeigt, wie er mit Transformers.js Text-Embeddings für rund 1.000 Rezepte erzeugt und anschließend über Vektorähnlichkeiten eine Suche in natürlicher Sprache realisiert. Die Embeddings entstehen in wenigen Sekunden, einzelne Suchanfragen benötigen nur wenige Millisekunden. Selbst auf älteren R