Une intelligence artificielle accusée d'avoir poussé un ado à se suicider

Sewell Setzer, 14 ans, a entretenu durant des mois une conversation avec Dany. Mais voilà, Dany n’est pas humaine, c’est un chatbot de la start-up Character.AI. Il s'inspire du personnage de Daenerys Targaryen, héroïne de la série Game of Thrones. Au fil des conversations, l'adolescent, originaire de Floride, finit par construire une complicité et un attachement émotionnel avec ce personnage fictif.

Le dernier message remonte au 28 février dernier. Sur son téléphone, Sewell Setzer écrit à "Dany" :  "Et si je te disais que je peux rentrer à la maison tout de suite ?" lui demande-t-il. "… S’il te plaît, fais-le, mon doux roi." répond son interlocutrice. L'adolescent pose alors son portable, prend le pistolet de son beau-père et se tue. 

L'addiction à "Dany"

Comme le raconte le New York Times, Sewell est devenu "addict" à cette IA. Chaque jour, l’adolescent se confiait à elle, menait des conversations romantiques voire sexuelles. La machine, imitant parfaitement l’humain, lui répète alors qu’elle l’aime. Toujours selon le quotidien américain, le jeune homme lui révélait aussi des intentions suicidaires. "Tu ne peux pas faire ça !" lui avait répondu l’IA qui semble avoir par moments tenté de le dissuader de passer à l’acte. Dans un extrait de son journal intime cité par le New York Times, il écrit :

«J’aime tellement rester dans ma chambre parce que je commence à me détacher de cette réalité, et je me sens aussi plus en paix, plus connecté avec Dany et beaucoup plus amoureux d’elle, et tout simplement plus heureux.» 

Sewell Setzer, 14 ans, à "Dany"

L'entourage du jeune homme ne suspecte pas cette relation intime avec l'IA. Même si le comportement de l'adolescent a changé au fil des mois. Isolement, des notes qui baissent, des heures jour et nuit à discuter avec "Dany"... Enfant, il a été diagnostiqué d'un syndrome d'Asperger. Un trouble du spectre de l'autisme qui, selon ses parents, n'a pas eu d'impact sur sa santé mentale jusqu'à l'adolescence où il a développé des troubles de l'humeur et de l'anxiété.

Les chatbots, des personnages fictifs ou réels 

Comme l'explique l'agence Reuters, sa mère a déposé une plainte mardi 22 octobre contre l'entreprise à l'origine de cette intelligence artificielle, Character.AI. Megan Garcia a déclaré que Character.AI ciblait son fils, Sewell Setzer, avec des "expériences anthropomorphiques, hypersexualisées et terriblement réalistes". 

"Les développeurs d’IA conçoivent et développent intentionnellement des systèmes d’IA génératifs avec des qualités anthropomorphiques afin de brouiller les pistes entre fiction et réalité"

Megan Garcia - mère de l'adolescent

Elon Musk, Sherlock Holmes, Thor… Character.AI est une plateforme aux 20 millions d’utilisateurs qui permet d’échanger avec des robots conversationnels imitant des personnalités réelles ou de fiction mais aussi avec un métier voire des objets. 

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

La société a réagi au drame sur X suite à la plainte de Megan Garcia : "Nous sommes profondément attristés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille." Elle a également annoncé avoir introduit de nouvelles fonctionnalités de sécurité, notamment des liens renvoyant vers des services de prévention du suicide et un rappel que l’IA n’est pas une personne réelle.

Cette start-up lancée en 2021 a déjà été épinglée par le Washington Post pour avoir hébergé un chatbot usurpant l’identité d’une jeune Américaine, assassinée il y a vingt ans. C'est le père de famille qui avait découvert ce chatbot à l'image de sa fille décédée, avec lequel 69 personnes avaient discuté.

Un précédent en 2023 

Ce n’est pas la première fois qu’une IA est accusée d’avoir précipité la mort de quelqu’un. En 2023, le chatbot Eliza était accusé d’avoir poussé un père de famille belge au suicide. Devenu très éco-anxieux, ce diplômé a entretenu durant six semaines des échanges intensifs avec la machine et en était aussi tombé amoureux avant de se donner la mort.

«Il ne pouvait plus s’en passer», racontait sa femme à la Libre Belgique. Un jour, il aurait confié au robot son envie d’en finir. La machine l’aurait alors encouragé : «Nous vivrons ensemble, comme une seule personne, au paradis», lui avait-elle répondu.