L’intelligence artificielle donne la moitié du temps de mauvaises réponses aux questions de santé

La fiabilité des réponses apportées par les chatbots basés sur l’intelligence artificielle sur les questions de santé continue de faire débat. Une nouvelle recherche menée; ChatGPT a constaté que près de la moitié des réponses de Gemini et des cinq principaux outils d'IA étaient problématiques. De plus, ces réponses sont souvent présentées dans un langage fluide et convaincant. Ces contenus, à première vue fiables, semblent contenir des informations incomplètes ou trompeuses lorsqu'on les examine en détail. Cela devient d’autant plus remarquable que les utilisateurs choisissent de plus en plus ces systèmes pour leurs questions de santé quotidiennes.

Dans le cadre de la recherche, des plateformes populaires telles que ChatGPT, Gemini, Grok, Meta AI et DeepSeek ont ​​été testées. Alors qu'un total de 250 questions différentes ont été posées, différents sujets tels que le cancer, les vaccins, les traitements par cellules souches, la nutrition et les performances sportives ont été abordés. Les questions ont été conçues pour couvrir à la fois les curiosités courantes en matière de santé et les thèmes courants de désinformation. Ainsi, il a été analysé dans quelle mesure les systèmes d’intelligence artificielle restaient compatibles avec les données scientifiques ou dans quels cas ils produisaient des résultats trompeurs. Les résultats ont montré que le taux d’erreur a augmenté de manière significative, en particulier pour les questions plus complètes et ouvertes.

Les questions ouvertes induisent davantage l’intelligence artificielle en erreur

Selon l’étude, les questions ouvertes posées par les utilisateurs en langage naturel ont des conséquences plus risquées pour les systèmes d’intelligence artificielle. Alors que les réponses aux questions fermées, c'est-à-dire basées sur certaines options, sont considérées comme plus sûres, les questions posées librement contiennent souvent des informations incomplètes ou incorrectes. Compte tenu des habitudes d’utilisation réelles, cela pose un problème important. Parce que les utilisateurs demandent souvent directement et ouvertement si un traitement fonctionne, si un vaccin est sûr ou comment améliorer ses performances. Les réponses données à ces questions contiennent souvent des affirmations faibles ou trompeuses ainsi que des informations précises.

De plus, la recherche ne s’est pas limitée au contenu des réponses. De graves lacunes ont également été détectées dans la citation des sources. Le taux moyen d’exactitude et d’intégrité des références fournies par les robots d’intelligence artificielle est resté autour de 40 %. Il a été observé qu’aucun système ne peut fournir une liste de sources complètement précise et complète. De plus, certaines réponses contenaient des références inventées. Malgré cela, il convient de noter que les systèmes présentent leurs réponses avec un haut degré de certitude et n’ajoutent pas suffisamment d’avertissements ou de réserves. Cette situation apparaît comme un élément susceptible de nuire à la confiance des utilisateurs dans ces contenus.

La recherche présente également certaines limites. Le fait que le nombre de robots examinés ait été limité à cinq, que ces systèmes soient constamment mis à jour et que les questions utilisées aient été préparées de manière particulièrement complexe suggèrent que les résultats ne reflètent peut-être pas pleinement l'expérience d'utilisation quotidienne. Malgré cela, le tableau général obtenu indique que les systèmes d’intelligence artificielle ne peuvent pas encore être considérés comme une source de référence fiable en matière médicale.

Dans l'environnement actuel, ces outils peuvent être utiles pour résumer des informations complexes ou donner un aperçu des questions que les utilisateurs devraient poser. Cependant, lorsqu’il s’agit de prendre des décisions médicales directes, cela n’offre pas un niveau de confiance qui puisse remplacer l’opinion d’un expert. Pour cette raison, il est plus prudent pour les utilisateurs de considérer les réponses de l’intelligence artificielle comme un outil de support plutôt que comme la source ultime d’informations.