RAG en production
La génération augmentée par récupération est facile à démontrer et difficile à mettre en production. La différence tient à une récupération sensible aux permissions, à des réponses ancrées et à une évaluation qui attrape les hallucinations.
Une démo de génération augmentée par récupération prend un après-midi. Un système RAG que vous pouvez placer devant une entreprise demande la discipline que la démo saute, à commencer par qui est autorisé à voir quoi.
La mise en œuvre du RAG est la capacité la plus demandée en IA d’entreprise en ce moment, parce qu’elle promet des réponses ancrées dans les connaissances propres de l’organisation. La promesse est réelle. Les modes de défaillance sont précis, et évitables.
La récupération sensible aux permissions n’est pas négociable
La première question de tout système RAG d’entreprise n’est pas « quelle est la meilleure réponse » mais « qu’est-ce que cet utilisateur a le droit de savoir ». Si la récupération peut faire remonter un document que l’utilisateur n’aurait pas pu ouvrir autrement, vous avez construit un moteur d’exposition de données doté d’une interface de discussion avenante. Le contrôle d’accès doit se propager à travers la récupération : l’index respecte les mêmes permissions que les systèmes sources, et chaque requête est cantonnée aux droits du demandeur.
Si la récupération peut faire remonter ce que l’utilisateur ne peut pas ouvrir, vous avez construit un moteur d’exposition de données doté d’une interface de discussion.
Ancrez chaque affirmation, et montrez vos sources
Une réponse sans citations est une simple assertion. Un système RAG de production ancre chaque affirmation dans des preuves récupérées et montre à l’utilisateur d’où vient la réponse. Cela fait deux choses : cela permet à l’utilisateur de vérifier, et cela rend l’hallucination visible. Quand une réponse ne peut pas être ancrée, le système honnête le dit plutôt que d’inventer un paragraphe assuré.
Ce sont les parties ingrates qui décident de la qualité
Les équipes s’obsèdent sur le modèle à utiliser. En pratique, la qualité de la récupération est gouvernée par les parties que personne ne montre en démo : comment les documents sont découpés, comment les candidats sont classés et reclassés, comment la fraîcheur et la duplication sont gérées, comment les métadonnées servent à filtrer. Réussissez cela avec un modèle médiocre et vous battez un excellent modèle nourri d’un mauvais contexte.
Évaluez l’ancrage explicitement
La métrique la plus importante pour le RAG est l’ancrage : quelle fraction des affirmations de la réponse est réellement étayée par les sources récupérées. Intégrez-la au harnais d’évaluation. Un système exact mais non ancré est un système qui a raison par chance, et la chance ne survit pas à un audit de production.
Points essentiels
- La récupération doit porter les droits d’accès de l’utilisateur : ne récupérez jamais ce que l’utilisateur ne peut pas voir.
- Ancrez chaque réponse dans des sources et affichez les citations ; les affirmations non sourcées sont un défaut.
- Le découpage, le classement et la fraîcheur décident de la qualité plus que le choix du modèle.
- Évaluez l’ancrage explicitement : mesurez à quelle fréquence les réponses sont étayées par des preuves récupérées.