Audit RAG : votre agent répond-il vraiment depuis vos documents ?
Un agent connecté à une base documentaire inspire confiance. Vos utilisateurs pensent que chaque réponse est ancrée dans vos données. En réalité, la majorité des pipelines RAG en production souffrent d'un problème invisible : l'agent répond avec aplomb, mais ses réponses ne proviennent pas toujours des documents récupérés. Il peut ignorer les passages pertinents, mélanger plusieurs sources contradictoires, ou compléter les trous avec sa mémoire interne sans le signaler. Le résultat : des réponses qui semblent fiables mais qui ne le sont pas. Cet audit mesure le taux réel d'ancrage de vos réponses dans vos documents, identifie les points où votre pipeline perd en fidélité, et fournit un plan correctif concret.
Checklist d'evaluation
Couverture documentaire : vérifiez que l'ensemble de votre corpus est indexé sans omission. Testez avec 20 requêtes couvrant différentes sections de votre base.
Taux d'ancrage : mesurez sur un échantillon de 50 réponses combien sont effectivement fondées sur les passages récupérés, et combien sont complétées par le modèle.
Découpage du corpus : évaluez si la granularité de vos fragments correspond à la nature de vos contenus. Un guide technique ne se découpe pas comme une FAQ.
Adéquation du modèle vectoriel : testez si votre modèle de représentation comprend le vocabulaire métier et la langue de vos documents.
Tri par pertinence : vérifiez que les fragments les plus utiles arrivent en tête, pas seulement les plus similaires lexicalement.
Mise à jour du corpus : identifiez les documents périmés encore présents dans l'index et l'ancienneté moyenne de votre base.
Détection des réponses non fondées : vérifiez qu'un mécanisme signale quand l'agent ne trouve rien de pertinent, au lieu d'inventer une réponse.
Erreurs les plus frequentes
Fragments surdimensionnés : quand un fragment contient 3 pages de texte, le modèle reçoit un mur d'information et sélectionne ce qui l'arrange. Le risque n'est pas l'absence d'information, c'est la sélection arbitraire. Testez avec des requêtes précises et vérifiez que la bonne phrase est dans le fragment retourné.
Modèle vectoriel hors domaine : un modèle entraîné sur des corpus anglophones généralistes ne représente pas correctement les termes techniques francophones. Résultat : une requête sur 'amortissement fiscal' retourne des documents sur 'amortissement mécanique'. Mesurez le recall sur 30 requêtes métier.
Index figé : votre documentation évolue mais l'index reste celui du premier déploiement. Les utilisateurs obtiennent des procédures obsolètes présentées comme actuelles. Mettez en place un pipeline de re-indexation déclenché par chaque mise à jour documentaire.
Ce que l'audit détecte
Fabrication silencieuse : l'agent produit une réponse fluide et confiante alors qu'aucun fragment pertinent n'a été récupéré. C'est le cas le plus dangereux car indétectable par l'utilisateur final.
Mélange de sources contradictoires : l'agent fusionne des informations de fragments incompatibles (version 2024 et version 2025 d'une procédure) sans signaler la contradiction.
Zones aveugles du corpus : certains sujets présents dans vos documents ne sont jamais remontés par le retrieval, souvent à cause d'un vocabulaire différent entre la requête et le document.
Réponses partielles : l'agent répond correctement mais incomplètement, en utilisant seulement le premier fragment retourné et en ignorant les suivants qui contenaient des compléments essentiels.
Auditez la fiabilité de votre RAG
Obtenez un score de maturite, les faiblesses détectees et un plan d'action personnalise.
Lancer l'auditEn savoir plus
Cet audit évalue votre implémentation du pattern Knowledge Retrieval (RAG). Pour comprendre les fondamentaux theoriques de ce pattern, consultez le guide complet.
📖Guide complet : Knowledge Retrieval (RAG)