OpenAI stellt Pando vor, um den Git-Backend für Monorepos zu skalieren

OpenAI hat die Entwicklung von Pando angekündigt, einem neuen Backend für Git-Repositories, das mit der zunehmenden Größe und den Anforderungen des Monorepos des Unternehmens skalieren soll. Laut OpenAI wurde das System entwickelt, um die Bedürfnisse der parallelen Arbeit zu erfüllen, die durch Codex ermöglicht wurde, was die Größe und das Tempo der Entwicklung im Unternehmen verändert hat.

Entwicklungstreiber

OpenAI berichtet, dass die Größe und die Anforderungen an sein Monorepo im vergangenen Jahr in "erstaunlichem Tempo" zugenommen haben. Das Unternehmen stellt fest, dass ab Ende des letzten Jahres die Systeme, die das Monorepo unterstützen, Schwierigkeiten hatten, Schritt zu halten, was zu langsamen Fetches und Pushes sowie fehlgeschlagenen Merges führte, wobei die Zuverlässigkeit gelegentlich unter 90 % fiel.

OpenAI stellt fest, dass Codex Ingenieuren ermöglicht hat, mehr Arbeit parallel zu erledigen, was zu mehr Zweigen, Pushes, Merges und Fetches aus Forschungsarbeiten, Entwicklungsumgebungen und CI führt. Diese Anforderungen summieren sich, da ein einzelner Ingenieur mehrere Änderungen gleichzeitig für CI bereitstellen kann und jeder Push mehrere Jobs auslösen kann, die denselben Commit abrufen.

Technische Architektur von Pando

Um diese Skalierungsherausforderungen zu bewältigen, hat OpenAI Pando so entworfen, dass es zwei Hauptziele erreicht: horizontal skalierbare Schreibvorgänge, die für parallele Pushes zu vielen Zweigen optimiert sind, und maximierter Lesedurchsatz, um Clients zu ermöglichen, Daten schnell genug herunterzuladen, um die verfügbare Netzwerkbandbreite auszulasten.

Im Gegensatz zu herkömmlichen Ansätzen nutzt Pando ein gelockertes Konsistenzmodell namens kausale Konsistenz (CC). Laut OpenAI ermöglicht dies dem System, Schreibvorgänge zu skalieren, indem es Aktualisierungen für jeden Zweig unabhängig koordiniert. Während dies Serialisierbarkeit für Aktualisierungen einzelner Referenzen bietet, kann ein Client, der mehrere Zweige liest, nicht davon ausgehen, dass diese Lesevorgänge einen einzelnen Zeitpunkt über das gesamte Repository hinweg beschreiben.

Wichtige technische Merkmale von Pando sind:

• Schreiboptimierung: Pando validiert eingehende Packfiles, während sie in Blob-Speicher gestreamt werden, ohne sie in ein lokales Repository zu entpacken. Es verwendet eine Multi-Key-Transaktion, um eine Referenzversion in einem Metadaten-Speicher zu erfassen und den Referenzpointer atomar zu aktualisieren.
• Leseeoptimierung: Pando nutzt Packfiles über Fetches hinweg erneut, anstatt für jeden Client individuelle Packfiles zu generieren. Dies ermöglicht es dem Server, denselben Bytes für viele Clients mit wenig Berechnung bereitzustellen.
• Kompatibilität: Das System behält die Kompatibilität mit dem Git-Protokoll und dem Client bei, sodass Ingenieure und Agenten Pando in bestehende Arbeitsabläufe integrieren können.

Leistung und Vergleich

OpenAI hat Pando gegen zwei andere gängige Ansätze zur Skalierung von Git bewertet: ein Drei-Phasen-Commit (3PC)-Design und ein Write-Ahead-Log (WAL)-Design. In Simulationen stellte OpenAI fest, dass das 3PC-Design unter Last deutlich höhere Schreiblatenz aufwies, wenn die Festplatten gesättigt waren, während WAL-Systeme deutlich höhere Leselatenz aufwiesen, wenn die Server Schwierigkeiten hatten, dem Lesen aus dem Journal nachzukommen.

In der Produktion stellt OpenAI fest, dass Pando die mittlere Push-Latenz um fast das 5-fache gesenkt hat und jetzt fast ein Petabyte an Git-Daten pro Tag liefert.

Warum es wichtig ist

Wenn die Entwicklung auf mehr Agenten und parallele Arbeit skaliert, stoßen traditionelle Git-Service-Muster auf Engpässe. Der Schritt von OpenAI zu einem benutzerdefinierten Backend zielt darauf ab, "Agent-Scale Work" zu unterstützen und gleichzeitig Verbesserungen an die upstream Git-Community zurückzugeben.

Quellen (auf Englisch)

• openai.com: Scaling Git at OpenAI | OpenAI

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.