La Chine a rédigé une réglementation complète exigeant une intervention humaine contre les mentions de suicide et d’automutilation dans les chatbots IA. Les règles couvrent tous les chatbots publics et stipulent que les tuteurs seront avertis lorsque des expressions à risque sont détectées. Le projet comprend des obligations de sécurité supplémentaires pour les enfants et les utilisateurs âgés. Le règlement reflète la nouvelle approche chinoise en matière de modération des contenus numériques, centrée sur les risques psychologiques.
Le texte préparé se concentre directement sur les chatbots qui interagissent comme des humains. Il dessine un cadre commun pour les systèmes qui communiquent par le texte, les visuels, l'audio ou l'écriture. Cependant, les chatbots sont clairement limités dans leur capacité à manipuler émotionnellement l’utilisateur. Surtout lorsque des expressions de suicide ou d'automutilation sont incluses dans la conversation, le système est invité à s'arrêter automatiquement. Ensuite, l'intervention humaine entre en jeu et une notification est envoyée à un tuteur enregistré. Cette structure comprend des couches de sécurité supplémentaires pour les enfants et les utilisateurs âgés.
Les règles ne se limitent pas à se concentrer uniquement sur les risques graves. Les jeux de hasard, les obscénités et les contenus incitant au crime sont également expressément interdits. De plus, les chatbots ne peuvent pas insulter l’utilisateur ou faire des promesses trompeuses. Dans le texte, une section spéciale est consacrée aux manipulations définies comme des « pièges émotionnels ». Il est indiqué que de telles redirections conduisent l’utilisateur à prendre des décisions irrationnelles. Ainsi, le contrôle du contenu va au-delà des filtres classiques.
En revanche, il est expressément interdit de concevoir des chatbots à intelligence artificielle de manière à créer une dépendance. Le projet exige que les systèmes affichent un message d'avertissement lorsque la durée d'utilisation dépasse deux heures. Ces avertissements sont conçus pour inciter l'utilisateur à faire une pause. De plus, les développeurs ne peuvent pas utiliser de conceptions pour contourner ces avertissements. De cette manière, on évite que les interactions à long terme ne se poursuivent de manière incontrôlée. Cette approche répond directement aux débats sur l’addiction qui se sont récemment multipliés à l’échelle mondiale.
La Chine nécessite une intervention humaine dans les chatbots IA
Le projet impose également des obligations supplémentaires pour les services comptant de larges bases d'utilisateurs. Les plateformes qui atteignent plus d'un million d'utilisateurs enregistrés ou cent mille utilisateurs actifs mensuels sont soumises à des audits de sécurité annuels. Lors de ces contrôles, les réclamations des utilisateurs sont enregistrées de manière détaillée. De plus, il est obligatoire de simplifier les processus de signalement des plaintes. L'accès aux magasins d'applications est bloqué pour les entreprises qui ne respectent pas les règles. Cette sanction constitue un facteur décisif pour les entreprises mondiales qui souhaitent opérer sur le marché chinois.
Le projet de règlement concerne également de près l’industrie mondiale de l’intelligence artificielle. Les poursuites intentées contre les chatbots ces dernières années ont rendu les risques pour la santé mentale plus visibles. Dans ce processus, en particulier ChatGPT Des systèmes largement utilisés tels que ceux-ci ont été au centre des discussions. OpenAI, le développeur de ChatGPT, a fait face à des allégations dans certains cas selon lesquelles ses mesures de sécurité étaient inadéquates. Le PDG de la société, Sam Altman, a déjà déclaré publiquement qu'il était prêt à travailler avec le marché chinois. Cependant, ce projet fournit un nouveau cadre contraignant pour toutes les entreprises souhaitant opérer en Chine.
Cette mesure prise par la Chine montre que les chatbots à intelligence artificielle sont abordés non seulement avec leurs effets techniques mais aussi sociaux. Les règles couvrent un large éventail de domaines, depuis la conception des produits par les développeurs jusqu'à l'interaction avec les utilisateurs. Par ailleurs, le fait de faire de la surveillance humaine un élément central ressort particulièrement. Une fois le projet finalisé, le fonctionnement des chatbots proposés sur le marché chinois changera directement. Une fois le processus achevé, les réglementations devraient servir de référence pour les discussions mondiales.
