Anthropic a partagé des données remarquables sur la mesure dans laquelle Claude est utilisé dans la recherche et le développement de l'IA au sein de l'entreprise. Selon le nouveau blog de l'entreprise, dans 26 % des travaux de R&D en intelligence artificielle de Claude Anthropic, celle-ci peut réaliser le travail en grande partie de bout en bout, à partir d'un commandement de haut niveau, et des employés humains supervisent ce processus. Anthropic définit cette façon de travailler comme « AI-led », c'est-à-dire un travail guidé par l'intelligence artificielle. Selon les informations fournies par l'entreprise, le rôle de Claude ne se limite pas à ces 26 pour cent. Les systèmes d'IA effectuent au moins une grande partie du travail sous la direction humaine étroite dans plus de 90 % des activités de recherche d'Anthropic.
Ces taux indiquent que Claude a participé d'une manière ou d'une autre à une grande partie du travail de recherche effectué par les employés de l'entreprise. Cependant, Anthropic souligne que Claude n’a fonctionné de manière totalement autonome dans aucune partie des travaux de R&D mesurés en IA. En d’autres termes, même si le système peut accomplir certaines tâches en grande partie tout seul du début à la fin, la surveillance humaine n’est pas supprimée du processus. Au taux de « leadership » de 26 % défini par l’entreprise, le contrôle final revient aux employés humains. Cette distinction révèle également que s’intéresser uniquement aux taux d’achèvement des tâches ne suffit pas pour mesurer l’efficacité des outils d’intelligence artificielle dans les processus de recherche.
Anthropic propose trois façons de mesurer les progrès de l'IA
Anthropic a créé les données en question dans le cadre de la première des trois méthodes de mesure visant à rendre la vitesse de développement de l'intelligence artificielle plus compréhensible et comparable. Dans cette approche, appelée « AI-led AI R&D », on mesure la part des travaux de recherche et développement en intelligence artificielle effectués par Claude. Pour cela, l’entreprise a combiné ses propres données d’utilisation avec l’échelle d’évaluation de l’automatisation préparée par Epoch AI. Grâce à cette méthode, un graphique a été créé montrant les niveaux d'automatisation atteints par Claude depuis août 2025. Selon Anthropic, une mesure similaire pourrait être appliquée par d'autres développeurs de modèles d'IA avancés en utilisant ses propres données, et les résultats pourraient être vérifiés par des tiers indépendants.
Le deuxième domaine de mesure proposé par l’entreprise se concentre sur la mesure dans laquelle les agents d’IA sont audités. Ici, il est recommandé de suivre des données telles que la quantité d'activités de l'agent qui est surveillée par des personnes, le temps nécessaire pour que les transactions soient vérifiées et la fréquence à laquelle les comportements du système sont marqués comme problématiques. Anthropic pense que de tels indicateurs pourraient fournir des informations plus concrètes sur le fonctionnement réel d’agents d’IA de plus en plus autonomes. En outre, il soutient qu’au lieu de simplement mesurer si un agent a accompli une certaine tâche, il faudrait également enregistrer le niveau de supervision sous lequel cette tâche a été exécutée. Ainsi, il vise à créer un cadre de sécurité et de surveillance qui puisse être plus directement comparé entre les entreprises.
La troisième mesure consiste à suivre la capacité de calcul allouée aux activités de recherche et développement en intelligence artificielle. Anthropic affirme que la divulgation de la puissance de calcul que les entreprises consacrent aux efforts de R&D peut être utilisée pour comprendre la vitesse à laquelle les modèles avancés sont développés. Si ces données sont évaluées conjointement avec des mesures du niveau d'automatisation et du contrôle humain, une image plus large peut émerger du rythme de développement du secteur. L’entreprise estime qu’une plus grande transparence peut aider le public à mieux surveiller les processus de développement de l’intelligence artificielle et à intervenir plus tôt dans les développements qui pourraient devenir incontrôlables.
Le PDG d'Anthropic, Dario Amodei, a également récemment soutenu que davantage de mesures devraient être prises concernant la sécurité de l'intelligence artificielle et la surveillance des modèles avancés. Selon le texte source, OpenAI a précédemment déclaré qu'elle était positive quant à l'idée de ralentir le développement de l'intelligence artificielle lorsque cela est nécessaire. Anthropic, d'autre part, s'engage à permettre que les demandes de développement soient examinées par des évaluateurs tiers. Malgré cela, on ne sait toujours pas exactement comment seront façonnés les mécanismes de contrôle contraignants qui seront mis en œuvre dans l’ensemble du secteur. Le texte source indique que le président américain Donald Trump évalue les risques de l’intelligence artificielle dans un cadre plus limité ; Par conséquent, on ne sait pas encore clairement dans quelle mesure l’approche réglementaire ira au-delà des contrôles internes des entreprises.
Le taux de 26 % annoncé par Anthropic est l’un des exemples concrets montrant que les systèmes d’intelligence artificielle actuels ne sont plus des outils auxiliaires qui écrivent uniquement du code ou effectuent des tâches de recherche singulières. Cependant, les propres données de l'entreprise révèlent que Claude n'agit pas comme un enquêteur totalement indépendant, les conseils et la supervision humains restant déterminants. Pour cette raison, il n'est pas correct d'interpréter directement les chiffres annoncés comme « un quart des emplois sont entièrement confiés à l'intelligence artificielle ». Une évaluation plus précise est que Claude est capable d'accomplir de plus en plus de tâches à partir d'instructions de haut niveau, tandis que la supervision humaine reste un élément clé du processus. L'adoption des normes de mesure proposées par Anthropic à l'échelle de l'industrie dépendra de la quantité de données détaillées que les entreprises d'IA sont prêtes à partager.
