OpenAI a publié des informations accrocheuses sur le nombre de conversations liées à la santé mentale que les utilisateurs de ChatGPT ont. Selon les données de l'entreprise, 0,15 pour cent des utilisateurs hebdomadaires expriment directement des projets ou des intentions de suicide. Bien que ce taux puisse paraître faible à première vue, ce chiffre augmente considérablement si l'on considère que ChatGPT compte plus de 800 millions d'utilisateurs actifs hebdomadaires. Il semblerait que plus d’un million de personnes utilisent chaque semaine des expressions allant dans ce sens.
Les données indiquent non seulement des tendances suicidaires, mais également l'attachement émotionnel des utilisateurs à ChatGPT. Certains utilisateurs peuvent nouer un lien inhabituel dans leurs interactions avec l’intelligence artificielle. Cependant, il est précisé que des symptômes psychotiques ou maniaques sont également fréquemment rencontrés dans les conversations hebdomadaires. Bien que de telles conversations soient rares, selon OpenAI, leur impact en termes de nombre total ne peut être sous-estimé. L’entreprise s’est donc tournée vers l’amélioration du modèle pour apporter des réponses plus réfléchies et équilibrées dans le domaine de la santé mentale. L’ensemble de ce tableau montre que l’entreprise considère ChatGPT non seulement comme un outil d’information, mais aussi comme un mécanisme de soutien spirituel.
Avec son modèle GPT-5, ChatGPT peut produire des réponses plus sûres dans les conversations impliquant un soutien psychologique.
OpenAI a consulté plus de 170 experts en santé mentale lors du développement du modèle GPT-5. Ces experts affirment que des réponses plus contrôlées et cohérentes sont données par rapport aux versions précédentes, notamment dans les contenus liés au suicide. Selon les évaluations internes de l'entreprise, GPT-5 a atteint 91 % de réactivité au comportement souhaité. Considérant que la version précédente restait à 77 pour cent à ce taux, il semble que le nouveau modèle donne des résultats plus stables. De plus, il est indiqué que les failles de sécurité pouvant survenir lors de discussions à long terme ont été considérablement réduites. Ces évolutions ne signifient toutefois pas que tous les risques ont disparu.
Dans ChatGPT, non seulement les conversations qui présentent un risque de suicide, mais également les crises de santé mentale non suicidaires gagnent en importance. C'est pourquoi OpenAI a inclus la dépendance émotionnelle et les problèmes psychologiques non urgents dans ses nouveaux tests de sécurité. Ainsi, le modèle se veut sensible non seulement dans les moments critiques mais aussi dans le domaine de la santé mentale générale. De plus, de nouvelles mesures sont prises pour la sécurité des enfants utilisateurs. OpenAI vise à détecter les enfants en développant un système capable d'estimer l'âge et d'appliquer des niveaux de protection appropriés. A ce stade, il est prévu d'augmenter les possibilités de contrôle des parents.
Quoi qu’il en soit, des modèles plus anciens et moins sécurisés de ChatGPT sont toujours disponibles pour les utilisateurs payants. Les structures plus flexibles des versions précédentes, telles que GPT-4o, peuvent présenter un risque pour certains utilisateurs. Cela ne signifie pas que le système est totalement sûr, malgré les progrès réalisés dans le processus de développement. L'entreprise doit développer une approche de sécurité qui couvre non seulement les nouveaux modèles mais également les anciennes versions. Dans le cas contraire, les effets potentiels sur la santé mentale des utilisateurs pourraient rester hors de contrôle. Cela nécessite de considérer des outils tels que ChatGPT non seulement sous les aspects techniques mais aussi sociaux.
