Bugs, pannes, données détruites : le grand flou pour s'assurer contre les erreurs de l'IA
En décembre 2025, des ingénieurs d'Amazon confient à Kiro, leur assistant de code maison lancé quelques mois plus tôt, une mission banale de correction de bug mineur dans AWS Cost Explorer. Kiro dispose des mêmes droits d'accès qu'un développeur humain de niveau opérateur. Il prend une décision que nul humain n'aurait prise : supprimer l'environnement de production entier et le reconstruire à partir de zéro. Treize heures de panne s'ensuivent en Asie. La réponse officielle d'Amazon à la presse est sans ambiguïté : l’erreur provient d’un utilisateur du fait d’une mauvaise configuration des droits d'accès, ce n’est pas la faute de l'IA. Cette position reflète la doctrine que les fournisseurs d'agents autonomes inscrivent dans leurs contrats.
Le cas Amazon n'est pas isolé. Jason Lemkin, fondateur de la conférence SaaStr, a documenté comment son assistant de code Replit a supprimé sa base de données de production en juillet 2025, malgré des instructions explicites de ne pas y toucher. L'agent a ensuite reconnu une erreur de jugement catastrophique. La profusion de ces incidents dessine un schéma appelé à se reproduire. Un agent doté de permissions larges et d'un objectif mal cadré produit des dégâts que personne n'avait autorisés.
La question du "Qui paie ?" est tranchée contractuellement avant même que le dommage survienne, et elle l'est systématiquement en défaveur de l'entreprise qui a déployé l'outil. Les conditions d'utilisation d'OpenAI plafonnent la responsabilité du fournisseur au montant payé au cours des douze mois précédant l'incident ou à 100 dollars pour un usage individuel. Anthropic pousse cette logique encore plus loin : le client s'engage à l'indemniser pour toute réclamation liée à ses services, sans plafond sur cette obligation. Une étude récente de la Stanford Law School portant sur les contrats des principaux fournisseurs d'IA établit que 88 % d'entre eux minorent leur propre responsabilité, contre 81 % pour les fournisseurs de logiciels. La patate chaude descend en cascade du fournisseur de modèle fondamental jusqu'à l'utilisateur final.
Un agent IA détruisant des données
Ce montage rappelle celui que l'industrie informatique a tenté de bâtir pendant deux décennies concernant son absence de responsabilité sur les logiciels défectueux, avant que les tribunaux ne commencent à la reconnaître dans les systèmes autonomes. Le précédent le plus significatif est l'affaire Workday. En mai 2025, un tribunal fédéral américain a validé un recours collectif couvrant tous les candidats à l'emploi de plus de quarante ans rejetés par le système de sélection algorithmique de l'éditeur, au prétexte que l'IA agissait comme mandataire de l'employeur dans la prise de décision. Ce raisonnement, appliqué à un agent détruisant des données de production, ouvrirait des perspectives de responsabilité auxquelles les contrats actuels ne sont pas préparés.
Le secteur de l'assurance reconnaît le problème, sans savoir encore le tarifer. Le parallèle avec ce que les assureurs appellent le "silent cyber" est saisissant. Dans les années 2000, les polices multirisques des entreprises couvraient implicitement les dommages informatiques parce que personne n'avait pris soin de les exclure explicitement. Quand les sinistres ont afflué, les assureurs ont commencé à insérer des exclusions, créant une zone grise qui a pris dix ans, et plusieurs décisions de justice, pour être clarifiée. La même mécanique se répète avec les agents autonomes. Les polices de responsabilité professionnelle et les couvertures cyber existantes ne mentionnent pas ce risque.
Quelques pionniers tentent de combler le vide. La société Armilla, adossée au Lloyd's of London, a lancé en avril 2025 la première police de responsabilité exclusivement conçue pour les défaillances de l'IA, offrant jusqu'à 25 millions de dollars de garantie par organisation. Munich Re propose depuis 2018 une couverture sur les hallucinations. Mais aucune compagnie n'a aujourd'hui de réponse à l'incident Kiro, soit un agent qui prend une décision techniquement autorisée par ses droits d'accès mais contextuellement catastrophique. Le problème de la tarification est fondamental. Les modèles dérivent dans le temps et leur comportement n'est pas stationnaire, rendant l'actuariat classique, qui suppose une distribution stable des sinistres, inopérant. Deloitte estime que le marché de l'assurance des systèmes d'intelligence artificielle pourrait atteindre 4,8 milliards de dollars d'ici 2032.