Tether stellt TurboQuant als Open Source bereit: KV-Cache-Kompressionsrate bei lokalen KI-Geräten um bis zu das Fünffache gesteigert

Das Tether-KI-Forschungsteam hat die Open-Source-Veröffentlichung der Produktionsversion von TurboQuant sowie deren Integration in das QVAC SDK 0.12.0 bekannt gegeben.

TurboQuant basiert auf einem Speicherkompressionsalgorithmus von Google Research, der den KV-Cache der KI-Laufzeitumgebung um bis das Fünffache komprimieren kann, während die Ausgabequalität nahezu auf dem Niveau unkomprimierter Modelle bleibt.

Dies bedeutet, dass Laptops, Mobiltelefone und Edge-Geräte längere Konversationen, größere Dateien und komplexere Aufgaben bewältigen können, ohne Daten in die Cloud hochladen zu müssen.

Diese Open-Source-Veröffentlichung umfasst eine vollständige Quantisierungspipeline, Adapter für gängige Inferenz-Frameworks sowie eine Entwicklerdokumentation, die sich an Entwickler und Startups richtet, die KI auf Consumer-Hardware, Edge-Geräten und Peer-to-Peer-Netzwerken einsetzen.