Der beste KI-Agent löst 1 von 8 Expertenaufgaben. Was das für Entwickler bedeutet.
Ein neuer Benchmark testet KI-Agenten an echter Expertenarbeit — Chip-Design, Finanzen, Recht, Trading — und selbst das beste Modell schafft nur 12%, was Entwicklern die bisher klarste Orientierung gibt.
- 12.0%
- bestes Gesamtergebnis eines KI-Agenten
- ~0%
- Ergebnis in Finanzen und Recht
- 11
- getestete Fachdomänen
- 206
- Aufgaben im Benchmark
Das Forschungsunternehmen SemiAnalysis hat die besten KI-Modelle der Welt gerade an 206 echten Expertenaufgaben gemessen — Chip-Design, Finanzen, Recht, Biologie, Quant-Trading und mehr. Das beste Modell, Claude Opus 5.5 von Anthropic, hat dabei 12 Prozent abgeschlossen. Nicht weil KI schlecht ist, sondern weil die Aufgaben wirklich schwer sind. KI-Agenten scheitern noch bei 88 Prozent echter Expertenarbeit, und diese Zahl ist für alle, die heute mit KI entwickeln, eine nützliche Orientierungshilfe.
Wichtiger als die Gesamtpunktzahl ist die Aufschlüsselung. Claude führte bei Quant-Trading und Chip-Design. Googles Gemini 4 Carbon schnitt am besten in Biologie und Softwareentwicklung ab. Finanzen und Recht? Praktisch jedes Modell erzielte null Punkte — die Aufgaben waren für alle zu schwer, um auch nur eine einzige zu lösen. Das ist kein generelles KI-Versagen, sondern ein Signal: Diese Bereiche sind für autonome Agenten bei schwierigen Entscheidungsaufgaben noch nicht bereit.
Die meisten KI-Tests messen, ob ein Modell die richtige Antwort kennt. GDPx fragte, ob es die Arbeit wirklich erledigen kann — echten Code schreiben, echte Simulationen ausführen, mehrstufige Aufgaben abschließen, deren Ergebnisse Fachleute prüfen. Jede Domäne wurde mit einem Partnerunternehmen entwickelt, das die Ausgabe verifizierte. Das macht diese Ergebnisse verlässlicher als Benchmarks, bei denen laut SemiAnalysis 50 Prozent der Aufgaben fehlerhaft sind.
Für alle, die gerade Produkte oder Automatisierungen mit KI entwickeln, ist dieser Benchmark eine Landkarte, kein Urteil. Quant-Trading und Chip-Design machen schnelle Fortschritte. Finanzen und Recht sind für autonome Agentenarbeit noch nicht bereit — zumindest nicht für Aufgaben, die echtes Expertenwissen erfordern. Die praktische Schlussfolgerung: Fokussiert Agentenarbeit dort, wo Modelle bereits echte Ergebnisse zeigen, nicht wo sie null Punkte erzielen. SemiAnalysis plant, GDPx alle drei bis sechs Monate zu aktualisieren.