Benchmarks sind ein Filter, kein Urteil

Am 15. Juni 2026 haben wir in einem internen Entscheidungslog festgehalten, wie wir öffentliche Benchmarks nutzen: als Fähigkeitsprofil, mit dem wir Kandidaten vorsortieren. Ob ein Modell eine Aufgabe übernimmt, entscheiden wir nach eigenen Messungen. Anlass war ein internes Projekt, in dem mehrere Sprachmodelle zusammenarbeiten sollen, und die Frage, welches Modell welche Rolle bekommt.

Der Eintrag nennt zwei Gründe. Ein Benchmark-Wert hängt am Harness, also an der Software, die das Modell steuert und ihm Werkzeuge gibt. Auf der Rangliste von Terminal-Bench steht deshalb in jeder Zeile neben dem Modell auch der Agent, in dem es lief, etwa Claude Code, Codex, Grok Build oder mini-SWE-agent. Gemessen wird die Kombination.

Der zweite Grund: Testaufgaben können in die Trainingsdaten geraten. Zhang et al. (2024) haben den Mathematik-Benchmark GSM8k mit neuen Aufgaben gleicher Art und Schwierigkeit nachgebaut (GSM1k). Einige Modelle verloren darauf bis zu 8 Prozent Genauigkeit. Bei den stärksten Modellen fanden die Autoren dagegen kaum Hinweise auf auswendig gelernte Aufgaben.

Wer in einem Unternehmen ein Modell für eine bestimmte Aufgabe sucht, hat noch ein Problem mit den Ranglisten: Sie messen fast immer auf Englisch und selten ein Fachthema. Deshalb haben wir KI-Battle gebaut. Dort treten Modelle auf Deutsch gegeneinander an, Thema für Thema. Im ersten Lauf zur deutschen Rechtschreibung (16 Fragen, 317 Duelle) kam Kimi K3, ein lokal betreibbares Modell, auf Platz 2 vor GPT-5.5. Gemma 4 12B hatte sich vorab mit 9,0 von 10 die höchste Selbstnote im Feld gegeben und landete auf Platz 7 von 8 (Bericht ).

Der Satz vom 15. Juni gilt auch für unseren eigenen Benchmark. Bei Frage 9 desselben Laufs haben alle acht Modelle eine Kommaregel erklärt, die seit Juli 2024 nicht mehr gilt, der Sieger eingeschlossen. Kein Schiedsrichter-Modell hat es bemerkt, weil sich das ganze Feld einig war. Den Fall haben wir auf der Methodenseite dokumentiert. Ein Battle zeigt, welches Modell sich in einem Feld durchsetzt. Ob die Antworten stimmen, muss bei einer Fachaufgabe weiterhin jemand prüfen, der das Fach kennt.

Eigene Messungen kosten Zeit und Rechenleistung, und sie gelten nur für die Fragen, die man stellt. Für welches Fachthema möchten Sie wissen, ob ein lokal betreibbares Modell reicht? Schreiben Sie uns über das Kontaktformular .