Le meilleur agent IA résout 1 tâche d'expert sur 8. Ce que cela signifie pour les développeurs.
Un nouveau benchmark teste les agents IA sur de vraies tâches d'experts — conception de puces, finance, droit, trading — et même le meilleur modèle n'atteint que 12%, offrant aux développeurs la carte la plus claire à ce jour.
- 12.0%
- meilleur score global d'agent
- ~0%
- score en finance et droit
- 11
- domaines d'experts testés
- 206
- tâches dans le benchmark
La société de recherche SemiAnalysis vient de soumettre les meilleurs modèles d'IA du monde à 206 vraies tâches d'experts — conception de puces, finance, droit, biologie, trading quantitatif et plus encore. Le meilleur modèle, Claude Opus 5.5 d'Anthropic, n'en a complété que 12 %. Non pas parce que l'IA est mauvaise, mais parce que les tâches sont vraiment difficiles. Les agents IA échouent encore sur 88 % du vrai travail d'expert, et ce chiffre est en réalité une carte utile pour quiconque développe avec l'IA aujourd'hui.
La répartition compte plus que le score global. Claude a dominé le trading quantitatif et la conception de puces. Gemini 4 Carbon de Google s'est distingué en biologie et en ingénierie logicielle. Finance et droit ? Pratiquement tous les modèles ont scoré zéro — les tâches étaient trop difficiles pour que l'un d'eux en résolve une seule. Ce n'est pas un échec général de l'IA. C'est un signal : ces domaines ne sont pas encore prêts pour des agents autonomes traitant les décisions complexes.
La plupart des tests IA mesurent si un modèle connaît la bonne réponse. GDPx a demandé s'il peut vraiment faire le travail — écrire du vrai code, faire tourner de vraies simulations, compléter des tâches multi-étapes dont des spécialistes vérifient le résultat. Chaque domaine a été construit avec une entreprise partenaire chargée de valider les sorties. C'est ce qui rend ces chiffres plus fiables que les benchmarks où, selon SemiAnalysis, 50 % des tâches s'avèrent défectueuses.
Pour ceux qui construisent des produits ou des automatisations avec l'IA en ce moment, ce benchmark est une carte, pas un verdict. Le trading quantitatif et la conception de puces avancent vite. La finance et le droit ne sont pas encore prêts pour un travail d'agent autonome — du moins pas pour les tâches nécessitant un vrai jugement d'expert. La conclusion pratique : concentrez le travail d'agents là où les modèles obtiennent déjà de vrais résultats, pas là où ils scorent zéro. SemiAnalysis prévoit de mettre à jour GDPx tous les trois à six mois.