Ce que notre IA rate.
Un fournisseur qui ne nomme aucune limite ne les a pas cherchées. Voici les défauts que nous avons trouvés en traitant un cas réel, et ce que nous en avons fait.
Elle comptait deux fois la même dépense
Sur les 68 justificatifs extraits d'une liasse, trois étaient des doublons : la même page photocopiée deux fois dans le dossier. Le système les avait extraits deux fois, proprement, sans rien signaler.
Sans détection, la note de frais aurait compté 125 CHF et 170 EUR de dépenses qui n'existent pas. C'est le défaut le plus grave qu'un outil comptable puisse avoir : il ne produit pas une erreur visible, il produit un total crédible et faux.
Elle lit des tickets coupés sans le dire
Un ticket collé de travers, dont le total sort du cadre de la photocopie, reste illisible pour la machine comme pour vous. Le risque n'est pas qu'elle échoue : c'est qu'elle propose un montant plausible tiré de ce qu'elle voit.
Nous lui demandons désormais de marquer une confiance basse plutôt que de deviner, et ces lignes remontent en évidence dans la liste à vérifier.
Elle enregistre des lignes incomplètes
Deux justificatifs sur 68 sont sortis sans montant, un autre sans devise. Ils figuraient dans la liste comme les autres, sans distinction visuelle.
Une ligne sans montant dans un tableau de frais, c'est un écart de caisse qu'on découvre trois semaines plus tard en cherchant d'où vient la différence.
Elle répondait à côté d'une question transfrontalière
Un utilisateur a demandé quel pourcentage du loyer d'un appartement parisien il pouvait passer en frais dans sa société vaudoise. La réponse était exacte sur le point étroit (il n'existe pas de pourcentage maximum légal) et passait complètement à côté du vrai risque : réaliser l'essentiel de son activité depuis la France pose une question d'établissement stable, d'un tout autre ordre de grandeur.
Notre bibliothèque est suisse. Elle ne peut pas voir ce problème, mais elle doit le nommer et dire qu'elle ne le couvre pas. C'est ce qu'elle fait désormais.
Ce qu'un système devrait savoir dire
Le fil commun de ces cinq défauts n'est pas technique. Un modèle de langage produit toujours une réponse, y compris quand rien ne la fonde. Le travail consiste à lui apprendre à se taire.
Concrètement : un extrait dont la pertinence est sous un seuil mesuré n'entre pas dans la réponse, et si plus rien ne passe le seuil, le système dit que le point n'est pas couvert au lieu de meubler.