Das ggml-org-Team hat llama.cpp Version 1.0.0 und ggml Version 1.0.0 veröffentlicht, laut einem am 13. November 2026 auf Hugging Face veröffentlichten Artikel. llama.cpp ermöglicht das Ausführen multimodaler LLMs auf einer breiten Palette von Hardware, von consumer-grade lokalen Maschinen bis hin zu High-End-Enterprise-Servern. Durch Quantisierung, optimierte Backends und eine portierbare C/C++-Implementierung macht das Projekt KI-Inferenz auf jeder Ebene des Software-Stacks zugänglich. Das Team beschreibt llama.cpp als die leichteste, vielseitigste und sinnvollste Plattform zum Aufbau plattformübergreifender und privater KI-Produkte.

Während der 3,5 Jahre seit seiner Gründung ist das Projekt gewachsen, und viele Downstream-Anwendungen verlassen sich bereits auf seine Arbeit. Das Team erwartet, dass sich dieser Trend fortsetzt, da lokale KI und Privatsphäre im Alltag zunehmend an Bedeutung gewinnen. Jede neue Integration bedeutet, dass mehr Entwickler von den Bibliotheksschnittstellen abhängen, daher ist eine flexible, aber stabile API von größter Bedeutung.

Mit der 1.0.0-Veröffentlichung werden sowohl llama.cpp als auch ggml API- und ABI-Inkompatibilitäten durch Major-Version-Bumps widerspiegeln. Mit wachsender Adoption wird das Team strenger darin, diese Grenzen für Downstream-Verbraucher sichtbar zu machen.

Die Veröffentlichung umfasst zwei Bibliotheken:

  • llama.cpp v1.0.0 - LLM-Inferenz in C/C++, Bibliothek libllama, öffentliche Header in llama.cpp/include/
  • ggml v1.0.0 - Tensor-Bibliothek für maschinelles Lernen, Bibliothek libggml, öffentliche Header in ggml/include/

Die Projekte verwenden semantische Versionierung mit den folgenden Regeln:

  • MAJOR: Breaking Change der öffentlichen C-API in ./include
  • MINOR: Abwärtskompatibles Feature, Backend-Updates, Modellunterstützung oder API-Erweiterung
  • PATCH: Bugfix ohne API-Änderung

Vertriebskanäle umfassen Pre-Release-Artefakte für Linux, macOS, Windows, Android und iOS; Docker für Linux; Debian für Linux; Homebrew für macOS und Linux; conda-forge für Windows, macOS und Linux; MacPorts für macOS; Winget für Windows; und XCFramework für iOS und macOS.

Die zugrunde liegende Machine-Learning-Engine von llama.cpp ist ggml, die entwickelt wurde, um auf praktisch jeder existierenden Hardware ausgeführt zu werden, indem dedizierte ggml-Backends implementiert werden. Jedes Backend kann als dynamische Bibliothek kompiliert und optional zur Laufzeit geladen werden. Eine vollständige Liste der derzeit implementierten Backends ist in der Projektdokumentation verfügbar.

Das Team ist bestrebt, alle Modellarchitekturen kontinuierlich zu unterstützen. Derzeit unterstützt llama.cpp mehr als 150 Architektur-Varianten sowie alle gängigen Methoden des spekulativen Decodierens.

Das Projekt hat eine Open-Source-Community mit hochqualifizierten und talentierten Mitwirkenden gefördert. Mit dem raschen Fortschritt der KI-Fähigkeiten im Bereich der Softwareentwicklung passt sich das Team weiterhin an und integriert LLMs auf durchdachte und vernünftige Weise in seinen Entwicklungszyklus. Die Aufrechterhaltung einer hochwertigen Codebasis, die Kontrolle über die Architektur und das Verständnis der Implementierungsdetails bleiben oberste Priorität.

Um das schnellere Entwicklungstempo zu verstärken, investiert das Team weiterhin Ressourcen in die Verbesserung der CI-Infrastruktur hinter den Projekten. Mit Hardware-Unterstützung von NVIDIA, AMD, Qualcomm, Arm, IBM und Intel stellt das Team weiterhin mehr selbst gehostete Runner auf allen wichtigen Hardware-Plattformen bereit.

Quellen (auf Englisch)

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.