Un jeu de données de référence (golden dataset) est un ensemble figé d’exemples réels, chacun associé à une réponse vérifiée par un expert humain, qui sert d’étalon pour mesurer la précision d’un système d’IA sur une tâche donnée.
En automatisation financière, un jeu de données de référence pour le traitement des factures contient de vraies factures avec leurs valeurs exactes : fournisseur, numéro de facture, montants HT et TTC, taux de TVA, référence du bon de commande, et la décision attendue (valider, signaler ou rejeter). Les sorties de l’agent sont comparées champ par champ à ces réponses pour calculer la précision par champ et par décision.
Un jeu de données de référence utile respecte quatre règles :
- il couvre les cas difficiles en proportion : avoirs, factures de plusieurs pages, devises étrangères, livraisons partielles, et pas seulement des PDF propres
- ses réponses sont fixées par une personne qui connaît le processus puis revues par une seconde, la logique du contrôle maker-checker appliquée aux données de test
- il reste séparé des exemples utilisés pour configurer le système, sinon le score mesure la mémoire plutôt que la précision
- il est versionné, pour que les résultats restent comparables d’un test à l’autre
Un jeu de données de référence sert à trois moments : avant le déploiement, pour décider si la précision est suffisante ; à chaque changement de modèle, de prompt ou de règle, comme test de non-régression ; et pendant une preuve de valeur, pour montrer des résultats sur les documents de l’entreprise plutôt que sur un jeu de démonstration. Le rejouer après une mise à jour du modèle reste le moyen le plus direct de repérer une dérive de modèle.
La piste d’audit native de Phacet enregistre chaque sortie d’agent et chaque correction faite par l’équipe finance, ce qui donne la matière pour construire un jeu de données de référence à partir de ses propres factures, bons de livraison et contrats. Associé au score de confiance IA, il transforme la question de l’auditeur, comment savez-vous que l’IA a raison, en réponse mesurée.
