FreeToken verteilt lokale Agent-Inferenz über CPU und GPU

Lokale Agentenmodelle scheitern nicht nur am verfügbaren GPU-Speicher. Bei großen Mixture-of-Experts-Modellen entscheidet auch, wie schnell CPU, Arbeitsspeicher und GPU Daten austauschen können. FreeToken setzt genau dort an – und ist deshalb vor allem für Entwickler interessant, die ein konkretes Modell auf vorhandener Hardware betreiben wollen.

Die Modellgröße allein täuscht. Für eine Einsatzentscheidung zählt, ob FreeToken über eine vollständige Agentensitzung hinweg genügend Durchsatz liefert.

Arbeitsteilung zwischen CPU und GPU

Dem Preprint zufolge kombiniert FreeToken eine bandbreitenadaptive CPU-GPU-Ausführung mit semantischem Caching für wiederkehrende Agentenkontexte. Das System verteilt Arbeit abhängig von der verfügbaren Übertragungsbandbreite und soll so unterschiedliche lokale Hardware besser ausnutzen.

Das ist der relevante Teil des Ansatzes. Sobald Modellbestandteile zwischen Arbeitsspeicher und GPU bewegt werden müssen, wird der Datentransfer selbst zur Laufzeitentscheidung; eine kleinere GPU lässt sich dann nicht isoliert bewerten. FreeToken verspricht keine Abkürzung um diese Grenze, sondern versucht, die vorhandenen Ressourcen kontrollierter zusammenarbeiten zu lassen.

Was die veröffentlichten Messwerte zeigen

Die Autoren berichten in ihrem am 17. August 2026 veröffentlichten Preprint von Tests mit mehr als 20 MoE-Modellen. Die Hardware reicht demnach von einer Laptop-GPU mit 8 Gigabyte Speicher bis zu einer einzelnen Workstation-GPU; berücksichtigt wurden auch Coding- und Tool-Agenten.

Den größten Demonstrator beziffern die Preprint-Autoren auf 753 Milliarden Parameter: GLM-5.2 soll mit FreeToken auf einer einzelnen Workstation-GPU laufen. Das ist keine unabhängige Nachmessung und zunächst ein Beleg für technische Reichweite, nicht für alltagstaugliche Geschwindigkeit auf jeder unterstützten Hardwareklasse.

MarkTechPost nennt für Qwen3.6-35B-A3B auf einer RTX 5090 einen Durchsatz von 77 bis 83 Tokens pro Sekunde. Dieser Wert gehört zu einem anderen Modell und einer anderen Messanordnung als der GLM-Lauf. Beide Zahlen nebeneinander ergeben daher keine belastbare Leistungskurve vom Laptop bis zur Workstation.

Anschluss an bestehende Agenten-Workflows

FreeToken stellt nach Angaben des Projekts OpenAI- und Anthropic-kompatible Schnittstellen für Coding- und Tool-Agenten bereit. Anwendungen können das lokale Inferenzsystem damit über bekannte API-Formate ansprechen, ohne ihre gesamte Integration auf eine projektspezifische Schnittstelle umzustellen.

Das senkt die Hürde für einen Praxistest. Es belegt jedoch weder stabile Latenzen noch gleichbleibenden Durchsatz, sobald ein Agent über längere Zeit Werkzeugaufrufe, wachsende Kontexte und wiederkehrende Systemanweisungen verarbeitet.

Der sinnvolle Prüfmaßstab

FreeToken ist vor allem als Infrastrukturansatz überzeugend: Große MoE-Modelle werden nicht künstlich auf die GPU reduziert, sondern über CPU, Arbeitsspeicher und GPU verteilt. Die Parameterzahl ist dabei die auffällige Schlagzeile; für den Betrieb ist das Zusammenspiel der Ressourcen wichtiger.

Vor einem Umstieg sollte deshalb das gewünschte Modell auf der eigenen Hardware mit einer repräsentativen Agentensitzung gemessen werden. Relevant sind Tokens pro Sekunde und Latenz über einen längeren Verlauf, nicht das Tempo eines einzelnen Prompts. Erst dieser Test zeigt, ob FreeToken aus vorhandener Hardware einen verlässlichen lokalen Arbeitsdienst macht.