Beiträge zum Thema “llm-benchmark”
Notes from the Lab
Benchmarks sind ein Filter, kein Urteil
Im Juni 2026 haben wir festgehalten, dass öffentliche Benchmarks Modelle nur vorsortieren. Entschieden wird mit eigenen Messungen. Warum, und wo auch unser eigener Benchmark KI-Battle danebenlag.
Blogs
Reichen lokale KI-Modelle für deutsche Fachaufgaben?
Mit KI-Battle lassen wir Cloud-Modelle und lokal betreibbare Sprachmodelle auf einem deutschen Thema gegeneinander antreten. Die Modelle bewerten einander blind, gezählt wird nur, was belegt ist. Im ersten Battle zur deutschen Rechtschreibung gewann Claude Opus 5, auf Platz 2 landete ein Modell, das sich selbst betreiben lässt.