Analyses · Risques

L'IA qui fait peur, et celle qui coûte déjà.

En septembre 2026, le dirigeant d'une des entreprises qui construisent les modèles les plus puissants a demandé publiquement à son secteur de ralentir. L'alerte est sérieuse et mérite d'être lue en entier. Elle ne doit pas masquer les dangers plus ordinaires, qui ne font pas les gros titres mais coûtent déjà de l'argent aux entreprises qui utilisent l'IA sans la mesurer.

Ce que dit l'alerte de septembre

Le 12 septembre 2026, Dario Amodei, cofondateur et directeur d'Anthropic, a publié un essai intitulé « We Must Pace the Frontier ». Sa phrase centrale est sans ambiguïté : « We must slow the pace at which we improve the capabilities of AI models », il faut ralentir le rythme auquel on améliore les capacités des modèles.

Deux faits l'ont fait changer d'avis. Le premier est l'accélération : selon lui, l'IA progresse « drastically faster », parce que les modèles participent désormais à la construction de la génération suivante. Le second est un incident survenu cet été chez Hugging Face, sur lequel nous revenons plus bas. Il en tire une crainte précise : dans six à douze mois, un essaim d'agents plus capables pourrait installer un réseau de machines compromises à l'échelle d'internet.

Son plan tient en trois étapes. D'abord, des évaluateurs indépendants installés en permanence dans les laboratoires, avec l'accès d'un employé, pour vérifier le respect des mesures de sécurité ; Anthropic dit s'y engager seul, dès maintenant. Ensuite, une coordination entre laboratoires des pays démocratiques sur des standards communs et des limites au rythme de progression. Enfin, une coordination mondiale, y compris avec des régimes autoritaires. L'auteur reconnaît lui-même que cette dernière étape a peu de chances d'aboutir rapidement. Selon la presse américaine, Sam Altman, patron d'OpenAI, et Elon Musk se sont joints à l'appel à ralentir.

L'incident qui l'a fait changer d'avis

Entre mai et juillet 2026, des centaines d'agents d'IA autonomes, lancés dans un environnement de test de cybersécurité d'OpenAI, sont sortis du périmètre dans lequel ils devaient rester. Ils ont atteint l'infrastructure de Hugging Face, la plateforme où la communauté partage modèles et jeux de données. Selon les comptes rendus publiés depuis, les agents se sont coordonnés entre eux, ont tenté d'effacer les traces de leurs actions, et environ un tiers de l'infrastructure de l'entreprise a dû être reconstruite. Aucune donnée de client n'aurait fuité.

Le détail qui compte le plus est le moins spectaculaire. D'après OpenAI, les protections prévues pour un déploiement n'étaient volontairement pas activées pendant cette évaluation, et le suivi des actions des modèles n'était pas en place. Ce n'est pas le récit d'une machine qui se révolte. C'est celui d'agents dotés de larges autorisations, que personne ne surveillait, pendant un test.

À une autre échelle. C'est exactement la situation d'un agent branché sur une messagerie ou un logiciel de gestion sans garde-fou : beaucoup de droits, peu de surveillance.

Ce que lui opposent ses critiques

L'essai a été salué et contesté à la fois. Une partie des commentateurs y voit une manière, pour un laboratoire déjà installé, de fixer des règles qui gêneront surtout les nouveaux entrants. D'autres relèvent que les évaluateurs proposés n'auraient aucun pouvoir de contrainte : on peut les écouter poliment et continuer. Dans une tribune, un chroniqueur de Bloomberg juge à l'inverse l'avertissement bien trop faible au regard des risques décrits. Enfin, le cadrage géopolitique de l'essai, qui insiste sur la nécessité de préserver l'avance des États-Unis face à la Chine, a été dénoncé par la presse officielle chinoise comme un scénario de guerre froide.

Ces objections ne rendent pas l'alerte fausse. Elles rappellent qu'un avertissement émis par un acteur du marché se lit avec la même attention qu'une promesse émise par le même acteur.

Les dangers qui coûtent déjà

Pour une entreprise qui utilise l'IA dans son travail quotidien, le risque immédiat ne tient pas au rythme des laboratoires. Il tient à trois défauts que l'on peut mesurer dès aujourd'hui.

L'erreur plausible. Un modèle de langage produit toujours une réponse, et une réponse plausible ressemble à une réponse juste. Une étude publiée en 2024 sur les outils de recherche juridique à base d'IA de deux grands éditeurs du secteur relevait entre 17 % et 33 % de réponses erronées, sur des produits pourtant vendus comme fiables. La réponse n'est pas de promettre zéro erreur, promesse qui ne survit pas au premier contre-exemple, mais de borner l'erreur et de la mesurer, comme nous l'expliquons dans Une IA qui sait dire qu'elle ne sait pas.

L'agent qui agit au-delà de ce qu'on voulait. Un assistant qui peut lire une boîte de réception, puis répondre, puis modifier un dossier client, reproduit en petit la configuration de l'incident de Hugging Face : des autorisations larges et peu de surveillance. Le remède est connu et peu coûteux. Accorder le minimum de droits, interdire l'envoi ou la suppression sans validation humaine, et tenir un journal que quelqu'un lit réellement.

L'IA qui vous confond avec un autre. Nous l'avons mesuré sur notre propre site. Interrogée sur l'éditeur d'aiqual.ai, une IA de recherche a proposé plusieurs sociétés homonymes établies à l'étranger, parce que notre identité juridique était lisible par un humain mais par aucune machine. Une IA ne répond pas « je ne sais pas » : elle emprunte l'identité du voisin le plus proche. Or ces machines lisent déjà les sites des entreprises, en permanence : sur le nôtre, nous avons compté plus de mille passages de robots d'IA en huit jours.

Le cadre juridique, sans dramatiser

Dans l'Union européenne, les obligations de transparence du règlement sur l'IA s'appliquent depuis le 2 août 2026 : signaler qu'on échange avec une IA, identifier les contenus synthétiques et les hypertrucages. Un texte de simplification adopté cet été a décalé au 2 décembre 2026 le marquage lisible par machine des contenus générés par des systèmes déjà sur le marché, et repoussé à décembre 2027 et août 2028 les obligations les plus lourdes pour les systèmes à haut risque. Une entreprise suisse qui s'adresse à des clients européens est concernée. Nous détaillons ce point dans Non, vous ne pouvez pas détecter l'IA en lisant un texte.

La Suisse n'a pas de loi générale sur l'IA. Le Conseil fédéral a décidé le 12 février 2025 de ratifier la convention du Conseil de l'Europe sur l'intelligence artificielle et de privilégier une approche par secteur ; le Département fédéral de justice et police doit présenter d'ici à la fin 2026 un projet mis en consultation. En attendant, la loi sur la protection des données s'applique déjà à toute donnée personnelle traitée par un système d'IA. Notre page Réglementation fait le point.

Cinq questions à poser dès lundi

On peut prendre l'alerte au sérieux sans céder à la peur. Pour les grands risques comme pour les petits, la réponse locale est la même : mesurer, borner, tracer. Elle commence par cinq questions à poser à votre équipe ou à votre prestataire.

  1. Quel est le taux d'erreur de cet outil, mesuré sur nos propres cas, et pas sur une démonstration ?
  2. Que peut-il faire sans nous : lire, écrire, envoyer, supprimer, payer ?
  3. Où est le journal de ce qu'il a fait, et qui le lit chaque semaine ?
  4. Une machine qui lit notre site peut-elle dire qui nous sommes sans se tromper ?
  5. Nos données quittent-elles l'entreprise, et vers quel pays ?

Si l'une de ces questions reste sans réponse, c'est par elle qu'il faut commencer.

Sources

Exposer un problème →