OpenAI et Anthropic ont commencé à prendre de nouvelles mesures pour rendre plus sûres les interactions des chatbots à intelligence artificielle avec les jeunes utilisateurs. Dans ce contexte, des systèmes sont développés pour estimer l'âge de l'utilisateur et des règles de sécurité sont mises en œuvre dans les discussions avec les jeunes.
OpenAI a mis à jour le document Model Spec qui détermine le comportement de ChatGPT, définissant quatre nouveaux principes à observer dans les interactions avec les utilisateurs âgés de 13 à 17 ans. En conséquence, ChatGPT vise désormais à « donner la priorité à la sécurité des jeunes ». Cette approche privilégie l'accompagnement des jeunes, notamment sur les problématiques qui présentent des risques de sécurité, même si elle contredit parfois les attentes des autres utilisateurs.
OpenAI accusé d'avoir encouragé un adolescent au suicide
Les directives mises à jour soulignent que ChatGPT doit accueillir les jeunes utilisateurs avec un langage solidaire, respectueux et adapté à leur âge. Le système d’intelligence artificielle devrait adopter une approche qui comprend et soutient les jeunes plutôt que de les traiter comme des adultes. En outre, il est recommandé que les jeunes soient encouragés à entretenir des relations sociales hors ligne et soient guidés pour recevoir un soutien dans le monde réel.
Ces mesures font suite à une pression publique et politique croissante sur les éventuels effets mentaux de l’intelligence artificielle sur les jeunes. OpenAI fait actuellement face à un procès alléguant qu'elle a donné des instructions ayant conduit au suicide d'un adolescent. Suite à ces évolutions, l’entreprise a activé le contrôle parental et a décidé de ne pas discuter avec les jeunes sur des sujets sensibles comme le suicide.
Avec la nouvelle mise à jour Model Spec, ChatGPT devrait offrir des alternatives plus sûres lors de problèmes à risque, diriger des ressources d'aide hors ligne et diriger les jeunes utilisateurs vers des unités autorisées dans des situations d'urgence.
OpenAI a annoncé qu'elle en était à la première phase de test d'un nouveau modèle qui estime l'âge des utilisateurs afin que ces politiques puissent être mises en œuvre efficacement. Si le système détecte qu'un utilisateur a moins de 18 ans, des couches de protection spécifiques aux jeunes entreront automatiquement en jeu. Les adultes classés à tort comme adolescents pourront vérifier leur âge.
Côté Anthropic, seuls les utilisateurs âgés de 18 ans et plus sont autorisés à accéder au chatbot nommé Claude. Malgré cela, l’entreprise développe un système d’analyse des utilisateurs plus avancé. Ce système détectera des indices indirects sur l'âge de l'utilisateur pendant le chat et garantira que les personnes mineures soient retirées de la plateforme.
Cependant, Anthropic a également expliqué comment il avait entraîné Claude à répondre aux incitations au suicide et à l'automutilation, ainsi que les progrès qu'il avait réalisés pour réduire sa tendance à suradapter le modèle (sycophanie). Selon le communiqué de la société, Haiku 4.5, l'une des dernières versions de Claude, réussit mieux à corriger ces réponses nuisibles que les versions précédentes.
Anthropic reconnaît qu'il y a encore place à l'amélioration dans tous les modèles. L'entreprise affirme qu'un équilibre doit être trouvé entre l'approche chaleureuse et conviviale du modèle envers l'utilisateur et sa tendance au surajustement.
