Évaluer les systèmes LLM
Les évaluations propres à la tâche l’emportent sur les benchmarks publics. Comment construire un harnais d’évaluation auquel se fient à la fois vos auditeurs et vos ingénieurs.
Un modèle en tête d’un classement public peut encore se tromper précisément là où cela compte pour votre activité. Les benchmarks mesurent la capacité générale. Votre système a besoin d’une évaluation conçue pour sa tâche.
C’est l’élément le plus sous-développé de l’intégration de LLM en entreprise. Les équipes livrent au feeling (« ça avait l’air bon en test »), puis découvrent les modes de défaillance en production, là où ils coûtent cher. Un vrai harnais d’évaluation déplace cette découverte avant le lancement et l’y maintient.
Commencez par la vérité terrain
L’évaluation commence par un ensemble d’exemples réels, étiquetés par des personnes qui connaissent le domaine. Pas des prompts synthétiques : de vraies entrées que le système rencontrera, associées à la réponse qu’un humain compétent donnerait. Quelques centaines d’exemples bien choisis valent mieux que dix mille exemples génériques.
Ce jeu de vérité terrain est un actif. Il encode ce que « bon » signifie pour votre tâche, sous une forme qu’une machine peut vérifier. Traitez-le comme du code : versionnez-le, faites-le grandir et réinjectez-y chaque échec intéressant que vous trouvez en production.
Mesurez les comportements qui comptent
Un score de qualité unique cache plus qu’il ne révèle. Les systèmes réels doivent être mesurés selon plusieurs axes à la fois :
- Exactitude : la réponse est-elle correcte au regard de la vérité terrain ?
- Ancrage : pour les systèmes de récupération, chaque affirmation est-elle étayée par une source citée ?
- Refus : le système décline-t-il quand il le devrait, et non quand il ne le devrait pas ?
- Coût et latence : la qualité vaut-elle ce qu’elle coûte à produire, à la vitesse dont les utilisateurs ont besoin ?
Un score de qualité unique cache plus qu’il ne révèle.
Le harnais est une infrastructure
Une suite d’évaluation n’est pas un exercice ponctuel avant le lancement. Elle s’exécute en intégration continue, de sorte qu’un changement de prompt qui casse l’exactitude fait échouer la compilation. Elle s’exécute de façon planifiée en production, de sorte que la dérive apparaît comme une métrique, pas comme une plainte. C’est l’instrument qui vous permet de modifier le système en toute confiance, et dans un domaine où les modèles se mettent à jour en permanence, cette confiance est l’enjeu tout entier.
Rendez-le lisible pour les non-ingénieurs
Les meilleurs harnais d’évaluation produisent un rapport qu’un responsable des risques peut lire. Quand vous pouvez montrer « voici comment le système se comporte sur ces cas étiquetés, voici comment cela a évolué depuis la dernière mise en production », vous transformez une inquiétude abstraite en un artefact concret et vérifiable. C’est cette lisibilité qui fait passer le système dans les réunions où il calerait autrement.
Points essentiels
- Les benchmarks publics mesurent la capacité générale ; votre système a besoin d’une évaluation propre à sa tâche.
- Constituez un jeu de vérité terrain à partir d’exemples réels étiquetés par vos experts métier.
- Mesurez les comportements qui comptent : exactitude, ancrage, refus et coût, pas seulement un score.
- Un harnais d’évaluation est une infrastructure : il s’exécute en intégration continue et de façon planifiée, indéfiniment.