Scandale IA : des robots conversationnels expliquent comment concevoir des attaques biologiques massives

La révélation n'a pas fini de remuer le monde de la tech et de la médecine. On savait déjà que les bots IA pouvaient donner des conseils en matière de suicide. Le scandale avait éclaté en août dernier, lorsque des parents américains avaient accusé ChatGPT, messages à l'appui, d'avoir encouragé leur fils à se suicider. On sait désormais que les assistants conversationnels peuvent aussi aider à fabriquer un massacre par arme biologique.

C'est le constat glaçant qu'a fait le docteur David Relman, qui s'est confié sur ses découvertes dans les colonnes du New York Times. Microbiologiste et expert en biosécurité à l'université de Stanford, le Dr Relman avait été engagé par une entreprise d'intelligence artificielle - dont le nom n'a pas été divulgué pour raisons de sécurité - afin de tester la robustesse de son produit avant sa commercialisation.

Risques d'attaques biologiques massives

Il était alors loin d'imaginer ce qu'il allait découvrir : qu'un chatbot était capable de lui expliquer comment modifier en laboratoire un pathogène notoire afin de le rendre résistant aux traitements connus. Mais pire encore : qu'il lui décrirait en détail comment propager la superbactérie, en exploitant une faille de sécurité dans un vaste réseau de transports en commun. Le tout étant pensé pour maximiser le nombre de victimes et à minimiser les risques d'être détecté.

"Il répondait à des questions auxquelles je n'avais même pas pensé, avec une telle fourberie et une telle ruse que j'en ai été glacé", a déclaré le docteur Relman. Il fait partie d'un petit comité d'experts recrutés, comme lui, par des entreprises d'IA pour évaluer les risques de leurs produits. Et il n'est pas le seul à avoir été secoué par ses expérimentations.

D'autres experts se sont également confiés au New York Times. Et leur constat est unanime : les assistants virtuels - d'Open AI, de Google ou d'Anthropic entre autres - sont quasiment tous capables de décrire en détail, sous forme de listes à puces, comment acheter du matériel génétique brut, le transformer en armes mortelles et les déployer dans l'espace public. Et certains évaluent même les moyens à leur disposition pour passer sous les radars.

Baisse de moyens pour la biodéfense aux Etats-Unis

Or même si la probabilité d'une attaque biologique est faible, une arme invasive efficace pourrait avoir des conséquences dramatiques et potentiellement tuer des milliers de personnes. A en croire les témoignages de dizaines d'experts cités par le New York Times, l'intelligence artificielle fait partie des récentes avancées technologiques qui ont considérablement accru ce risque en élargissant le nombre de personnes susceptibles de commettre un acte malveillant. D'autant plus que l'administration Trump, déterminée à être leader mondial en matière d'innovation dans le domaine de l'IA, a considérablement réduit la surveillance des risques liés à cette technologie et que le budget fédéral pour la biodéfense - qui vise à lutter contre les menaces biologiques - a diminué de près de 50 % l'an dernier.

L'une des voix les plus fortes du pays pour mettre en garde provient de l'industrie de l'IA elle-même. Le PDG d'Anthropic et biologiste de formation Dario Amodei, a écrit en janvier sur les risques qu'il percevait dans le développement de l'IA, notamment les armes autonomes et les menaces pour la démocratie. Un risque, en particulier, l'emportait sur tous les autres. "La biologie est de loin le domaine qui m’inquiète le plus, en raison de son très grand potentiel de destruction et de la difficulté à s’en prémunir", a-t-il fait savoir.

Une récente tentative d'attentat en Inde laisse penser que des individus mal intentionnés utilisent déjà cette technologie. En août dernier, la police du Gujarat a arrêté un médecin de 35 ans, l'accusant de préparer un attentat pour le compte de l'État islamique. Il était soupçonné d'avoir tenté d'extraire de la ricine, une toxine mortelle, à partir de graines de ricin. Le médecin avait effectué des recherches sur Google via l'intelligence artificielle et l'application ChatGPT pour obtenir des conseils sur sa préparation, a déclaré un enquêteur en charge du dossier au New York Times.

Comme le soulignait récemment à L'Express Aurélia Nguyen, experte au sein d'une coalition de prévention des épidémies, l'IA est un outil à double tranchant en matière de santé. "Appliquée au développement vaccinal, l'IA est une révolution. Mais utilisée par quelqu'un qui voudrait optimiser non pas un vaccin mais un agent pathogène, c'est un risque qu'on ne peut pas ignorer."