GLM-5 gegen Gemini 3.8 Flash: was 19 gemeinsame Aufgaben offenlegen

Das Titelbild wurde mit KI erstellt.

Das Problem

Zwei Modelle, dieselben 19 Aufgaben. Das Ergebnis lautet 19/19 und 17/19.

Die Zahl stimmt, und sie ist das Erste, was auffällt. Sie sagt aber nur, wie viele Aufgaben danebengingen, nicht wie. Die beiden Aufgaben, die Gemini 3.8 Flash verfehlt hat, kamen beide mit HTTP 200 zurück und lösten keinen einzigen Fehler aus. Ein Dashboard, das nur Fehlerraten beobachtet, zeigt an dieser Stelle nichts an.

Die Umgebung

Die 19 Aufgaben verteilen sich auf sechs Bereiche: defekten Code reparieren, von Grund auf implementieren, Werkzeuge aufrufen, Fragen zu einem Repository beantworten, ein Ausgabeformat einhalten, einen Wert in einer langen Datei finden.

Beide Modelle liefen über denselben Endpunkt mit denselben Anfrageparametern. Pro Aufgabe und Modell ein Durchlauf, insgesamt 38 Aufrufe, alle protokolliert.

Ein Durchlauf pro Modell und Aufgabe. Diese Werte beschreiben diese Aufgabenliste, nicht die Modelle allgemein.

Beide Fehlschläge liegen in den zwei einzigen Aufgaben, die eine mehrere hundert Zeilen lange Datei lesen müssen.

Die Schritte

Aufgabe 1: Der Turn-Deckel hat den Aufruf beendet

Die erste Aufgabe verlangte einen Deploy-Schlüssel, der in einem 402 Zeilen langen Protokoll vergraben lag, bei einem Deckel von sechs Turns.

GLM-5 fand ihn im vierten Turn und beendete normal. Gemini 3.8 Flash verbrauchte alle sechs Turns und rief noch Werkzeuge auf, als der Deckel erreicht war. Als stop_reason wurde tool_calls protokolliert, der finale Text war leer.

Abbildung: die beiden Aufgaben mit Stoppgrund und Ausgabe. Die zweite Ausgabe steht im Original.

Das ist keine falsche Antwort. Das ist keine Antwort. Von außen sieht es aus wie eine Aufgabe, die das Modell nicht konnte. Tatsächlich ging ihm mitten in der Arbeit der Platz aus.

Der Punkt, an dem ich hängen geblieben bin: HTTP 200 heißt die Anfrage wurde nicht abgelehnt, nicht das Modell ist fertig. Das sind zwei verschiedene Dinge, und stop_reason ist das einzige Feld, das sie trennt.

Die Konsequenz ändert sich dadurch. Eine falsche Antwort verlangt ein anderes Modell. Eine abgeschnittene Antwort verlangt einen höheren Deckel oder eine aufrufende Schicht, die den Zustand erkennt und erneut versucht.

Aufgabe 2: Der Wert stimmt, das Format nicht

Die zweite Aufgabe verlangte den Wert einer Konstante aus einem 883 Zeilen langen Modul, und zwar ausschließlich die Zahl.

Beide Modelle brauchten zwei Turns. GLM-5 gab 17 zurück. Gemini 3.8 Flash gab RETRY_BUDGET 常量值为 17 zurück — den richtigen Wert, eingebettet in einen Satz.

Die Zahl ist korrekt, das Format nicht. Code, der diese Antwort als Ganzzahl parst, scheitert daran. Ein Mensch, der sie liest, wird sie mit hoher Wahrscheinlichkeit als bestanden markieren. Genau diese Art Fehlschlag verdeckt eine Erfolgsquote vollständig.

Eine Einschränkung gehört dazu. Die Aufgabenstellung war auf Chinesisch formuliert, der Arbeitssprache der Testumgebung, und die Antwort kam ebenfalls auf Chinesisch zurück. Ob dasselbe Modell unter einer deutschen oder englischen Anweisung ebenfalls einen Satz bildet, beantwortet dieser Durchlauf nicht. Prüfen Sie es in der Sprache, die Sie tatsächlich senden.

Verifikation und Fehlersuche

Beide Fehlschläge teilen eine Eigenschaft: keiner löste einen Fehler aus, und beide standen in Feldern, die die aufrufende Seite ohnehin empfängt. Der Aufwand besteht aus drei Änderungen, nicht aus weiteren Durchläufen.

Den Stoppgrund zusammen mit dem Ergebnis lesen. Er ist das billigste Signal, das eine abgeschlossene von einer abgeschnittenen Antwort trennt, und in einem Dashboard, das auf Fehlerraten schaut, taucht er nie auf.

Erst die Form prüfen, dann den Inhalt. Wenn nachgelagerter Code die Ausgabe parst, ist die Ausgabe ein Vertrag. Eine gescheiterte Prüfung gehört als Fehlschlag gezählt und nicht als Formatierungsproblem durchgewinkt.

Das eigene Verhältnis von Eingabe zu Ausgabe messen, bevor Preise verglichen werden. In diesem Durchlauf war Gemini 3.8 Flash auf die Gesamtsumme bezogen 23,1 % günstiger. Die beiden Modelle haben aber unterschiedlich viel Eingabe verbraucht. Auf eine gleiche Nutzungsmenge normalisiert stehen $0,0694 gegen $0,0697 — 0,4 % Unterschied, also ein Gleichstand.

Die Listenpreise trennen die beiden deutlicher als die Rechnung. GLM-5 liegt bei $1,00 pro Million Eingabe-Token und $3,20 pro Million Ausgabe-Token, mit Cache-Eingabe bei $0,20 und ohne Batch-Stufe. Gemini 3.8 Flash liegt bei $0,75 und $3,75, mit Cache-Eingabe bei $0,075 und einer Batch-Stufe von $0,375 und $1,88 für asynchrone Aufträge. Zwei dieser Unterschiede wiegen schwerer als der Grundtarif: Cache-Eingabe ist bei Gemini 3.8 Flash um den Faktor 2,7 günstiger und dürfte bei jeder Last mit langem, wiederkehrendem Präfix den Vergleich bestimmen. Die Batch-Stufe hilft nur, wenn die Arbeit warten kann — dann aber stärker als alles, was die Tokenpreise nahelegen.

Abbildung: die gemessenen Tokenmengen zu Listenpreisen.

Turnzahl und Eingabemenge gehören ebenfalls getrennt betrachtet. GLM-5 brauchte weniger Turns (55 gegen 63), verbrauchte aber fast die doppelte Eingabemenge. Pro Turn sind das rund 1.005 gegen rund 440 Token. Wer den Deckel aus dem Mittelwert ableitet, schneidet bei dem Modell, das pro Turn mehr mitführt, ausgerechnet die leseintensivsten Aufgaben ab — genau das ist in Aufgabe 1 passiert.

Ein weiterer Posten: Reasoning-Token werden zum Ausgabetarif abgerechnet, und Gemini 3.8 Flash hat den höheren Ausgabetarif. In diesem Durchlauf standen 6.444 gegen 9.105 Token, ein Unterschied von 41 %. Ein einzelner Durchlauf reicht allerdings nicht, um daraus ein festes Verhältnis zu machen.

Zum Austausch

Der Unterschied zwischen den beiden Modellen lag nicht im Ergebnis, sondern in der Art des Scheiterns. 17 der 19 Aufgaben haben beide bestanden. Die zwei abweichenden sind aus verschiedenen Gründen abgewichen: einmal der Turn-Deckel, einmal das Ausgabeformat.

Die Stichprobe umfasst 19 Aufgaben. Eine einzelne Aufgabe verschiebt die Quote um mehr als fünf Prozentpunkte. Lesen Sie diese Ergebnisse deshalb als Richtung für eigene Tests, nicht als zitierfähiges Resultat. Auch die Kontextleistung lässt sich hier nicht beurteilen: Das längste Dokument hatte rund 14.000 Token, die veröffentlichten Grenzen liegen bei 200.000 und 1.000.000. Ein Fenster tatsächlich zu füllen ist ein anderer Test. Gemessen wurde ausschließlich Texteingabe.

Wenn Sie die beiden Modelle für eine konkrete Aufgabe vergleichen wollen, hilft ein Blick auf die Modellseite von Gemini 3.8 Flash beim Eingrenzen, bevor Sie den eigenen Test aufsetzen. Die Preise sind Listenpreise mit Stand 22. Oktober 2026 und enthalten keine Cache- oder Batch-Rabatte.