Les entreprises s’habituent à interroger des IA comme elles interrogeaient hier un moteur de recherche, une base documentaire ou un expert interne. Mais que vaut une réponse produite par un modèle nourri de sources douteuses, orientées ou volontairement polluées ? Derrière l’empoisonnement de données, c’est toute la chaîne de confiance de l’intelligence artificielle qui se retrouve fragilisée. Explications.
L’IA générative donne une illusion redoutable, celle d’une réponse propre, structurée et sûre d’elle. Le problème est que cette assurance formelle ne dit rien de la qualité des sources utilisées pour produire la réponse. Un modèle peut restituer une erreur, amplifier une approximation ou reprendre une information manipulée avec le même ton convaincant qu’une donnée vérifiée.
C’est tout l’enjeu de l’empoisonnement de données. Le principe est simple : introduire dans les données utilisées par un modèle des contenus conçus pour en modifier le comportement. Il peut s’agir de fausses informations, de documents biaisés, de textes fabriqués pour orienter certaines réponses ou de contenus déclenchant un comportement précis lorsqu’un mot-clé apparaît.
Des chercheurs d’Anthropic, avec l’UK AI Security Institute et l’Alan Turing Institute, ont montré qu’un nombre limité de documents malveillants pouvait suffire à créer une vulnérabilité dans des LLM. L’expérience portait sur un cas précis, avec des conditions contrôlées, mais elle montre qu’il ne serait pas forcément nécessaire de contrôler une part massive des données d’entraînement pour influencer un modèle.
Attention, cela ne veut pas dire que tous les LLM sont faciles à pirater. Mais cela montre que la confiance dans l’IA ne peut pas reposer uniquement sur la taille du modèle, la réputation de son éditeur ou la fluidité de ses réponses.
Le vrai risque est dans les sources
L’empoisonnement de données ne se limite pas au moment où un modèle est entraîné. Le risque existe aussi dans les couches de recherche, de récupération documentaire et de génération augmentée (le RAG). Et c’est justement ce que de nombreuses entreprises sont en train de déployer : un modèle branché sur des bases internes, des documents métiers, des référentiels clients, des procédures, des contrats ou des contenus web.
Sur le papier, le RAG rassure. Car l’IA répond à partir de sources choisies. En réalité, tout dépend de la qualité de ces sources. Si le corpus contient des documents obsolètes, mal qualifiés, non validés, contradictoires ou pollués par des contenus externes, l’IA ne devient pas plus fiable. Elle devient simplement plus convaincante dans l’erreur.
Le sujet prend une dimension particulière avec les opérations informationnelles. Le DFRLab a par exemple identifié des contenus liés aux réseaux Pravda et Glassbridge dans Common Crawl, une vaste archive du web utilisée dans certains jeux de données. NewsGuard a également observé des cas où des chatbots pouvaient reprendre ou citer des sources de propagande dans certaines réponses. Là encore, il ne faut pas en tirer une conclusion simpliste. Mais le fait est que les IA deviennent des intermédiaires d’information, et ces intermédiaires peuvent être influencés par la qualité des données qu’ils absorbent ou consultent.
Pour une entreprise, le risque n’est donc pas seulement géopolitique. Il est aussi opérationnel. Une IA utilisée pour produire une note de veille, préparer une réponse client, analyser un marché, résumer une réglementation ou assister un service juridique peut intégrer une information fausse sans que l’utilisateur ne s’en aperçoive. Le danger n’est pas l’erreur grossière. Le danger, c’est l’erreur plausible.
La confiance dans l’IA commence avant le prompt
Beaucoup d’organisations abordent encore la sécurité de l’IA par le prompt. Elles cherchent à encadrer les usages, interdire certaines questions, former les collaborateurs et éviter les fuites de données sensibles. Sauf que prompt n’est que la partie visible du problème. In fine, tout est dans le pool de données. Quelles données l’IA a-t-elle ingérées ? Quelles sources consulte-t-elle ? Qui les valide ? Sont-elles datées, signées, hiérarchisées ? Peut-on comprendre pourquoi une réponse a été produite ? Peut-on retirer une source douteuse du corpus ? Peut-on auditer les réponses sur des sujets sensibles ?
Ces questions ramènent l’IA à un sujet que les entreprises connaissent déjà, celui de la gouvernance documentaire. Pendant des années, la qualité des données, la traçabilité des documents, la gestion des versions, l’archivage, la preuve et la provenance ont été traités comme des sujets d’intendance. Avec l’IA générative, ils deviennent stratégiques.
Une IA métier ne devrait pas seulement être évaluée sur sa performance apparente. Elle devrait l’être sur sa capacité à citer ses sources, distinguer le validé du non validé, refuser de répondre lorsque l’information est insuffisante, signaler ses incertitudes et conserver une trace exploitable de ses raisonnements documentaires.
L’IA peut-elle être intoxiquée avant même de répondre ? Oui, si l’on considère les données comme un simple carburant. Non, si l’on accepte enfin de les traiter comme un actif critique, avec les mêmes exigences de contrôle, d’intégrité et de preuve que les documents qui engagent déjà l’entreprise.
