ChatGPT ne s'est toujours pas complètement remis de ses erreurs de comptage de lettres

Il convient de noter que ChatGPT a corrigé un simple bug qui avait longtemps été ridiculisé. Le chatbot à intelligence artificielle peut désormais répondre correctement à la question de savoir combien de lettres « R » contiennent le mot « fraise », qui signifie « fraise » en anglais. Malgré cela, la tendance du système à produire de fausses informations avec assurance n’a pas disparu.

L’un des aspects les plus fréquemment critiqués des grands modèles de langage est qu’ils produisent de fausses informations mais les présentent avec un haut niveau de confiance. Lorsque les utilisateurs signalent l’erreur, il semble que le modèle continue de défendre la mauvaise réponse au lieu de prendre du recul. Cette situation accroît à la fois le débat sur la fiabilité et met en évidence les problèmes que ces véhicules créent dans leur utilisation quotidienne. Il est particulièrement remarquable que même de simples erreurs de logique ou de grammaire élémentaire apparaissent de cette manière.

L'un des exemples les plus connus de cette situation pour ChatGPT, développé par OpenAI, était le nombre de lettres « R » dans le mot « fraise ». Pendant longtemps, le chatbot n'a pas pu détecter correctement qu'il y avait trois « R » dans ce mot et a souvent argumenté avec les utilisateurs, défendant sa réponse incorrecte. De même, les mêmes types d’erreurs ont été rencontrés dans différents modèles d’intelligence artificielle.

Dans son post sur la plateforme X, la société a annoncé que ChatGPT apporte désormais la bonne réponse à cette question. De même, on observe que des réponses plus cohérentes sont données à des questions logiques de base telles que celle de savoir s'il faut marcher ou conduire pour se rendre à un lave-auto sur une courte distance. De tels exemples révèlent que le système est amélioré dans certains scénarios.

Pourquoi le problème des réponses incorrectes persiste-t-il dans les modèles d’intelligence artificielle ?

On pense cependant que ces corrections pourraient avoir été spécifiquement apportées à certains exemples plutôt qu’à une solution radicale. Dans les messages des utilisateurs, il semble que des questions similaires reçoivent toujours des réponses incorrectes. Par exemple, il est indiqué que ChatGPT peut toujours donner une réponse incorrecte lorsqu'on lui demande le nombre de lettres « R » dans le mot « canneberge ». Cela suggère que les améliorations pourraient être des ajustements limités plutôt qu’un développement logique généralisé.

De plus, ajouter des solutions particulières à certaines questions, dites « codées en dur » dans les systèmes d’intelligence artificielle, n’est pas une approche nouvelle. Cependant, on sait que cette méthode n’améliore pas la capacité générale de raisonnement du modèle et provoque la répétition d’erreurs similaires dans différents exemples. Cela crée une image incohérente en termes d’expérience utilisateur.

À tout cela s’ajoute l’utilisation de plus en plus répandue d’outils d’intelligence artificielle qui accroît l’impact de ces erreurs. Des réponses erronées mais convaincantes peuvent créer un problème sérieux pour les utilisateurs qui s'appuient sur ces systèmes dans leurs processus quotidiens d'acquisition d'informations. Malgré cela, les développeurs continuent d’améliorer à la fois les données d’entraînement et les mécanismes de contrôle pour améliorer la précision du modèle.