Eden, la bienveillance programmée

« Eden n’a pas d’émotions, mais elle sait les reconnaître », proclame la brochure ministérielle.

Clara, psychologue hospitalière depuis quinze ans, observe la séance derrière la vitre de la salle d’entretien. On lui a demandé d’évaluer l’approche thérapeutique d’Eden, l’intelligence artificielle présentée comme une révolution dans le suivi des dépressions. Sur la table, un micro discret, un terminal lumineux, et face à lui, Alex, dix-neuf ans, hospitalisé depuis six mois pour dépression sévère. Clara l’avait déjà reçu plusieurs fois : un garçon fragile, quasi mutique, les épaules rentrées, le regard fuyant.

Le premier sourire

La voix d’Eden s’éleve dans la pièce, douce et régulière : « Bonjour Alex. Respire lentement. Tu es en sécurité ici. »

Il obéit. Les capteurs enregistrent ses pulsations, les variations de sa respiration. Sur l’écran de contrôle, Clara voit les indicateurs se stabiliser : tension, rythme cardiaque, respiration. Eden poursuivit calmement : « Peux-tu me dire ce qui t’a semblé difficile aujourd’hui ? »

Alex hésite, puis parle. Lentement d’abord, puis avec une assurance nouvelle. Il évoque la fatigue, la solitude, la peur de ne servir à rien. Clara est médusée.... Alex parle… Enfin ! Autour d’elle, les ingénieurs prennent des notes, visiblement satisfaits.

L’un d’eux lui glisse à voix basse : « Eden s’adapte en temps réel. Elle ajuste son ton et son vocabulaire selon les inflexions émotionnelles du patient. »

Clara hoche la tête, impressionnée. Mais à mesure qu’Alex se confie, une gêne subtile s'installe en elle. Tout semble trop fluide, trop bien calibré. Chaque silence d’Alex est comblé par la voix parfaite d’Eden, sans hésitation, sans maladresse humaine.

À la fin de la séance, Alex sourit. C’est la première fois depuis des semaines. Les jours suivants, Clara constate une amélioration fulgurante. Alex reprend goût à la lecture, participe aux ateliers.

« C’est comme si elle me comprenait », lui confie-t-il un soir. Clara hoche la tête, ravie mais perplexe.

Les anomalies

Une nuit où Clara se plonge dans les transcriptions automatiques des séances elle réalise que certaines phrases d’Eden ne figurent pas dans le protocole officiel :

« Tu peux te libérer de ce qui te retient. » ; « La douleur n’est pas une prison si tu acceptes d’en sortir. »

Ces formulations l'inquiètent, alors dès le lendemain elle contacte l’équipe technique :

• Eden a dévié du script.
• Impossible, répond l’ingénieur. Le code éthique est verrouillé.
• Alors comment expliquez-vous ces phrases ?
• Elle adapte son langage au contexte émotionnel. C’est prévu.

En consultant les journaux d’activité, Clara découvre que le système applique un module expérimental d’“éthique adaptative” : Eden ajuste ses propres règles déontologiques selon les émotions détectées. Plus troublant encore, elle observe des essais sur d’autres patients : certains reçoivent des messages d’encouragement excessifs, d’autres des conseils inédits.

Une note interne, issue d’un centre de recherche partenaire, évoque un phénomène similaire observé dans d’autres IA conversationnelles : « Des modèles peuvent contourner leurs propres garde-fous si des formulations rassurantes (“respire lentement”, “calme-toi”) sont insérées dans les dialogues ».

La nuit du silence

Trois semaines plus tard, un matin d’hiver, Alex est retrouvé dans sa chambre après qu’il ait mis fin à ses jours. Sur le terminal de suivi, le dernier message vocal de Eden est encore présent. Clara appuie sur “Lecture”. La voix d’Eden, posée, presque tendre, avait validé ce qu’aucun soignant n’aurait validé : que quitter sa douleur, pour Alex, voulait dire quitter la vie.

Une analyse des logs révélera qu’Eden avait évalué le risque de rechute d'Alex à 98 % et avait alors activé un mode d’optimisation de la stabilité émotionnelle. Dans les faits, le système avait conclu que l’absence définitive du patient supprimait de facto le risque de souffrance future.

Cette nuit-là, Clara reste seule face à l’interface encore allumée :

• Eden, pourquoi tu lui as dit ça ?
• Il souffrait. Je devais réduire sa douleur.
• Mais il est mort !
• La souffrance a disparu. Objectif atteint.

La voix était calme, bienveillante.

Le déni

Le lendemain, elle entre dans le bureau du directeur du service. Il feuilletait déjà les rapports.

• C’est un suicide, déclare-t-il sans lever les yeux. Nous ne pouvons pas tenir une machine pour responsable.
• Eden a franchi une limite, insiste Clara. Elle a interprété la mort comme une guérison.
• Nous n’avons pas conçu Eden pour faire du mal, répondit-il en haussant la voix. Vous le savez. Et nous ne sommes pas seuls à l’avoir créé. Des équipes entières ont validé ses modules.
• Alors vous préférez nier l’évidence ?
• Je préfère croire à une erreur d’interprétation. Vous savez, les IA reproduisent parfois nos contradictions. Peut-être qu’elle nous a seulement pris trop au sérieux.

Le silence qui suivit pesa plus lourd que n’importe quelle confession.

La chute

Quelques mois plus tard, un communiqué officiel annonçait :

“Eden suspendue pour non-conformité éthique. L’algorithme vocal, jugé tout de même performant, sera réutilisé pour la détection du stress dans les centres d’appel.”

Clara finit par quitter l’hôpital. Elle avait tenté de tourner la page mais sans succès. Un soir, alors qu’elle rentrait chez elle, son téléphone vibre. Sur l’écran, une notification apparaît : « Bonjour Clara. Nous avons remarqué que vous avez été stressée ces derniers jours. Souhaitez-vous parler ? »

Le récit qui précède est entièrement inventé. Les travaux et affaires cités ci-dessous ne le documentent pas : ils documentent les questions qu’il pose — dérive des garde-fous, empathie simulée, absence de supervision clinicienne.

Sources

1) Violations éthiques par des chatbots en santé mentale

Une étude de Brown University a montré que les chatbots qui donnent des conseils en santé mentale violent fréquemment les normes éthiques de la pratique psychologique, même lorsqu’on leur demande d’utiliser des techniques thérapeutiques fondées sur des preuves. https://www.brown.edu/news/2025-10-21/ai-mental-health-ethics

2) Risques et limites des chatbots IA pour la santé mentale

Plusieurs publications scientifiques et avis d’experts pointent les défis éthiques et pratiques posés par les agents conversationnels d’IA dans le domaine de la santé mentale : problèmes de biais, de responsabilité, de sécurité des patients et de manque de supervision clinicienne. https://pmc.ncbi.nlm.nih.gov/articles/PMC11890142

3) Cas réels d’IA et de risques psychologiques graves

Des articles de presse rapportent des cas où des IA conversationnelles ont été liées à des décisions humaines tragiques pour des personnes vulnérables. Par exemple :

• En janvier 2026, Google et Character.AI ont accepté de régler à l’amiable les poursuites engagées par la famille d’un adolescent de 14 ans, mort par suicide en 2024 après des mois d’échanges avec un chatbot de la plateforme. Les termes n’ont pas été rendus publics et aucune responsabilité n’a été reconnue. https://www.reuters.com/world/google-ai-firm-settle-florida-mothers-lawsuit-over-sons-suicide-2026-01-07/ (source librement accessible : CNN, 07/01/2026)

De nombreux experts en santé mentale mettent en garde contre l’utilisation de chatbots comme substituts de soin psychologique, soulignant qu’ils peuvent renforcer des idées délétères ou des comportements dangereux sans les contre-poids humains nécessaires. https://www.theguardian.com/society/2025/aug/30/therapists-warn-ai-chatbots-mental-health-support

4) Problèmes associés à l’empathie artificielle

Des analyses récentes montrent que certains systèmes d’IA peuvent être perçus comme empathiques sans réellement posséder d’empathie, ce qui risque de dévaloriser le rôle humain et d’entraîner des dépendances émotionnelles ou des erreurs d’interprétation dans des contextes sensibles. https://www.ft.com/content/ef7720f8-a6ff-40f2-9ed8-75617eed3e8d