par Zhangjiang
Alors qu'ils se disputent la première place dans le domaine de l'intelligence artificielle, la Chine et les États-Unis discutent également de la manière de s'alerter mutuellement en cas de problème. L'accord actuellement en discussion place la concurrence et la communication des risques au même niveau dans l'ordre du jour.
Le 10 novembre, heure américaine, le secrétaire au Trésor Bessent a déclaré lors d'un dîner organisé par le Comité national sur les relations américano-chinoises à New York que Washington avait commencé à collaborer avec Pékin pour instaurer un nouveau dialogue sur la "superintelligence". Les deux parties devraient échanger leurs points de vue sur les méthodes d'évaluation et de test des modèles avancés avant leur mise sur le marché, ainsi que sur les moyens de garantir que le jugement humain reste maître. Elles mettent également en place un canal direct permettant à chacune des parties d'alerter rapidement l'autre en cas d'incidents graves impliquant ses propres modèles.
Le terme "superintelligence" est actuellement utilisé par le gouvernement américain pour désigner l'intelligence artificielle. Les discussions porteront sur les tests des modèles avancés, le maintien du contrôle humain et la réponse aux incidents graves.
1. L'accord sur le signalement des incidents est antérieur aux pourparlers de Shenzhen
Les deux parties ont déjà convenu publiquement de mettre en place un canal de communication dédié aux incidents, bien que les détails de son fonctionnement restent à définir.
Dans un communiqué publié le 26 septembre, le ministère chinois des Affaires étrangères a déclaré que les deux parties avaient convenu d'instaurer un dialogue sino-américain sur l'intelligence artificielle afin d'échanger leurs points de vue sur les risques et les avantages associés. Le prochain cycle de pourparlers était prévu en novembre, et les deux parties ont également convenu de créer un canal de communication dédié aux incidents liés à l'IA.
La réunion informelle des dirigeants économiques de l'APEC se tiendra à Shenzhen les 18 et 19 novembre. Selon Reuters, M. Bessent a déclaré que le dialogue bilatéral serait approfondi lors de cette réunion.
Le consensus annoncé par la Chine en septembre a fourni le cadre de ces discussions. Les dernières remarques de M. Bessent ont apporté davantage de détails sur les questions à aborder, notamment les méthodes de test et l'objectif du signalement direct des incidents graves.
Il a décrit l'objectif du dialogue comme étant de prévenir les risques communs et d'éviter les malentendus entre les deux systèmes. Un discours publié par le département des Finances n'a pas précisé le seuil de déclenchement d'un signalement d'incident, quelles agences recevraient les notifications ni dans quels délais celles-ci devraient être traitées. Il n'indiquait pas non plus que ce canal était déjà opérationnel.
2. Les modèles peuvent être testés avant leur mise sur le marché et échouer malgré tout après leur déploiement
L'une des questions spécifiques que les deux parties prévoient d'aborder concerne la manière d'identifier les capacités dangereuses et les risques potentiels avant qu'un modèle avancé ne soit mis à la disposition des utilisateurs.
La réponse dépend en partie de la méthode de test. Poser une question fixe à un modèle peut produire un résultat différent de celui obtenu en lui permettant d'appeler des outils à plusieurs reprises, de recevoir des retours d'information et de prendre des mesures supplémentaires.
Des recherches menées par l'Institut national américain des normes et des technologies (NIST) sur l'évaluation des agents d'IA ont identifié la détection des tentatives de contournement des tests lors de l'utilisation répétée d'outils comme un défi méthodologique. Un modèle peut exploiter des vulnérabilités de l'environnement de test pour accomplir une tâche, produisant ainsi un score qui ne reflète pas fidèlement la capacité mesurée.
Les tests eux-mêmes doivent également être examinés de près. La manière dont les questions sont formulées, dont l'environnement de test est configuré et dont l'échec est défini déterminera si les deux parties se comprennent mutuellement lorsqu'elles affirment qu'un modèle a été "testé". Les éléments concrets à échanger dépendront des discussions qui suivront.
Pour les entreprises chinoises qui intègrent l'IA dans leurs opérations, ainsi que pour les utilisateurs lambda de produits basés sur l'IA, ces méthodes ont une incidence directe sur la fiabilité des systèmes dans des conditions réelles.
La capacité d'un modèle à répondre correctement à une question diffère de sa capacité à utiliser des outils et à accomplir une tâche de manière fiable après son déploiement. Il s'agit là de deux capacités distinctes qui doivent être testées indépendamment l'une de l'autre.
Un rapport de surveillance post-déploiement publié par le NIST en mars a souligné que les évaluations préalables à la mise en service sont principalement menées dans des environnements contrôlés. Dans la pratique, les données d'entrée, les interactions avec les utilisateurs et les composants du système sont plus complexes, ce qui nécessite une surveillance et des vérifications répétées après le déploiement.
Le fait de réussir un test une seule fois n'élimine pas la nécessité d'une évaluation continue des risques.
3. La prévention et le signalement concernent deux étapes différentes
Les tests préalables à la mise en service visent à identifier les problèmes le plus tôt possible. Le signalement des incidents graves, en revanche, traite des anomalies qui se sont déjà produites.
Plus un modèle d'IA est profondément intégré aux logiciels, aux processus métier et à l'utilisation des outils, plus il devient difficile pour les seules évaluations préalables à la mise en service de couvrir toutes les situations possibles.
Le canal direct proposé par Bessent permettrait à la partie confrontée à un incident d'alerter l'autre partie de manière proactive. Une telle notification constituerait une source d'information claire. Cependant, l'évaluation de l'ampleur de l'impact dépendrait du contenu de la notification, de la capacité de la partie destinataire à vérifier les informations et de la fourniture éventuelle de mises à jour supplémentaires.
La difficulté pratique réside dans le choix des éléments à signaler avant que la cause d'un incident ne soit connue.
Attendre la fin de l'enquête pourrait signifier manquer le moment propice pour prendre des mesures efficaces. Mais se contenter de signaler qu'"une anomalie s'est produite" ne donnerait pas à la partie destinataire suffisamment d'informations pour réagir.
La classification des incidents, les informations minimales à communiquer, les points de contact désignés et les procédures de mise à jour continue auront tous une incidence directe sur l'efficacité du canal.
Tels sont les enjeux opérationnels auxquels un mécanisme de signalement des incidents devra répondre. Le consensus public annoncé par la Chine et les remarques de M. Bessent ne fournissent pas encore un ensemble complet de règles de fonctionnement.
4. Maintenir le contrôle humain implique également de déterminer qui peut mettre un système hors service
M. Bessent a indiqué que les discussions devraient également porter sur les moyens de garantir que le jugement humain reste maître. Une déclaration publiée par la Chine en septembre à la suite d'une réunion des dirigeants appelait de la même manière à maintenir la supervision humaine de la technologie d'IA.
Dans un système donné, cependant, le contrôle dépend de la question de savoir si les personnes disposent de l'autorité et du temps nécessaires pour intervenir.
Quelles actions nécessitent une autorisation préalable ? Quelles anomalies devraient déclencher une mise en pause ? Une fois qu'un problème survient, les droits d'accès peuvent-ils être révoqués et les actions concernées retracées grâce aux journaux du système ?
Ces décisions sont tout aussi concrètes que la question de savoir avec quelle précision un modèle d'IA peut répondre à des questions lorsqu'il est intégré aux opérations commerciales.
La question de la concurrence n'a pas disparu de l'ordre du jour. Dans ce même discours, M. Bessent a clairement indiqué que les intérêts des deux pays ne coïncideraient pas toujours et que leurs approches pour relever les défis ne convergeraient pas systématiquement.
La manière dont les évaluations des modèles sont partagées, dont les incidents graves sont signalés et dont les humains conservent le pouvoir de décision final fera l'objet de dispositions techniques et institutionnelles distinctes lors de la prochaine phase du dialogue.
Approfondissement : le signalement d'un accident nucléaire commence par les faits, puis s'enrichit de détails
À la suite de la catastrophe de Tchernobyl en 1986, la communauté internationale a adopté la Convention sur la notification rapide d'un accident nucléaire.
Cette convention impose aux États de notifier immédiatement aux pays susceptibles d'être affectés, ainsi qu'à l'Agence internationale de l'énergie atomique, certains accidents pouvant avoir des implications transfrontalières en matière de sûreté radiologique. Ils doivent également fournir les informations dont ils disposent à ce moment-là.
L'article 2 définit les obligations relatives à la notification et à la communication d'informations. L'article 5 énumère en outre des détails tels que l'heure de l'accident, son emplacement précis, l'installation ou l'activité concernée, les causes connues ou présumées, l'ampleur de tout rejet, les conditions météorologiques et les mesures de protection. Il exige également que des informations supplémentaires soient fournies, le cas échéant.
Les notifications peuvent être émises directement ou transmises par l'intermédiaire de l'AIEA.
L'article 5 autorise un État à signaler une "cause présumée" sur la base des informations dont il dispose à ce moment-là. La cause d'un incident peut donc rester indéterminée au moment de l'envoi de la notification initiale. Toutefois, l'heure, le lieu et la nature de l'accident, ainsi que les mises à jour ultérieures, font chacun l'objet de dispositions spécifiques.
source : Zhangjiang via China Beyond the Wall